muduo库使用示例之文件传输filetransfer

最新推荐文章于 2023-10-30 17:24:15 发布
最新推荐文章于 2023-10-30 17:24:15 发布
阅读量1.1k 收藏 6
点赞数 1
分类专栏： Muduo库源码剖析
JaweG
本文链接：https://blog.csdn.net/weixin_36750623/article/details/84722667
版权

文件传输(发送)有下面3个版本，代码实现在muduo\examples\filetransfer
目录中。

版本1：一次性将文件读入内存并发送

一次性将文件读入内存中的string fileContent，一次性调用send(const string&)发送完毕。==> 缺点：消耗内存很大
注解1：send函数是非阻塞的，立刻返回。不用担心数据什么时候发送给对等方。这个由网络库muduo负责到底。
注解2：send是非阻塞的，但是在send之后，直接调用shutdown，那么数据会发送完全么？

conn->send(fileContent); //发送fileContent给对方
conn->shutdown();

答案：这样做是没有问题的，muduo库实现了，直到将数据发送完之后，才真正的关闭写端，即真正的调用shuwdownWrite()。

#include <muduo/base/Logging.h>
#include <muduo/net/EventLoop.h>
#include <muduo/net/TcpServer.h>

#include <stdio.h>
#include <unistd.h>

using namespace muduo;
using namespace muduo::net;

const char* g_file = NULL;

// FIXME: use FileUtil::readFile()
string readFile(const char* filename)
{
  string content;
  FILE* fp = ::fopen(filename, "rb");
  if (fp)
  {
    // inefficient!!!
    const int kBufSize = 1024*1024;
    char iobuf[kBufSize];
    ::setbuffer(fp, iobuf, sizeof iobuf); //设置文件的缓冲区

    char buf[kBufSize];
    size_t nread = 0;
	
	//从文件读取数据保存到buf中
    while ( (nread = ::fread(buf, 1, sizeof buf, fp)) > 0)
    {
      content.append(buf, nread); //将buf添加到content中
    }
    ::fclose(fp);
  }
  return content;
}

void onHighWaterMark(const TcpConnectionPtr& conn, size_t len)
{
  LOG_INFO << "HighWaterMark " << len;
}

void onConnection(const TcpConnectionPtr& conn)
{
  LOG_INFO << "FileServer - " << conn->peerAddress().toIpPort() << " -> "
           << conn->localAddress().toIpPort() << " is "
           << (conn->connected() ? "UP" : "DOWN");
  if (conn->connected())
  {
    LOG_INFO << "FileServer - Sending file " << g_file
             << " to " << conn->peerAddress().toIpPort();
    conn->setHighWaterMarkCallback(onHighWaterMark, 64*1024);
	
    string fileContent = readFile(g_file); //一次性读取g_file文件中所有的内容，存入fileContent中
    conn->send(fileContent); //发送fileContent给对方
	
    conn->shutdown(); //send之后，直接调用shutdown，数据会发送完全么？
    LOG_INFO << "FileServer - done";
  }
}

int main(int argc, char* argv[])
{
  LOG_INFO << "pid = " << getpid();
  if (argc > 1)
  {
    g_file = argv[1];

    EventLoop loop;
    InetAddress listenAddr(2021);
    TcpServer server(&loop, listenAddr, "FileServer");
    server.setConnectionCallback(onConnection);
    server.start();
    loop.loop();
  }
  else
  {
    fprintf(stderr, "Usage: %s file_for_downloading\n", argv[0]);
  }
}

版本2：一块一块的发送文件

一块一块的发送文件，减少内存的使用，用到了writeCompleteCallback

#include <muduo/base/Logging.h>
#include <muduo/net/EventLoop.h>
#include <muduo/net/TcpServer.h>

#include <stdio.h>
#include <unistd.h>

using namespace muduo;
using namespace muduo::net;

void onHighWaterMark(const TcpConnectionPtr& conn, size_t len)
{
  LOG_INFO << "HighWaterMark " << len;
}

const int kBufSize = 64*1024;
const char* g_file = NULL;

void onConnection(const TcpConnectionPtr& conn)
{
  LOG_INFO << "FileServer - " << conn->peerAddress().toIpPort() << " -> "
           << conn->localAddress().toIpPort() << " is "
           << (conn->connected() ? "UP" : "DOWN");
  if (conn->connected())//如果连接成功
  {
    LOG_INFO << "FileServer - Sending file " << g_file
             << " to " << conn->peerAddress().toIpPort();
    conn->setHighWaterMarkCallback(onHighWaterMark, kBufSize+1);

    FILE* fp = ::fopen(g_file, "rb"); //打开文件，返回指针fp
    if (fp)
    {
	 //将conn与fp绑定在一起，那么通过conn就能获取fp指针
	 //通过这种方法，就不需要通过map容器来管理这种关系
      conn->setContext(fp); 
      char buf[kBufSize];
      size_t nread = ::fread(buf, 1, sizeof buf, fp); //读取一块的内容，存到buf中
      conn->send(buf, static_cast<int>(nread)); //发送
    }
    else
    {
      conn->shutdown();
      LOG_INFO << "FileServer - no such file";
    }
  }
  else //如果连接失败
  {
    if (!conn->getContext().empty()) 
    {
      FILE* fp = boost::any_cast<FILE*>(conn->getContext());
      if (fp)
      {
        ::fclose(fp);
      }
    }
  }
}

//发送完一块数据，会调用onWriteComplete函数
void onWriteComplete(const TcpConnectionPtr& conn)
{
  FILE* fp = boost::any_cast<FILE*>(conn->getContext());
  char buf[kBufSize];
  size_t nread = ::fread(buf, 1, sizeof buf, fp);
  if (nread > 0)
  {
    conn->send(buf, static_cast<int>(nread));
  }
  else
  {
    ::fclose(fp);
    fp = NULL;
    conn->setContext(fp);
    conn->shutdown();
    LOG_INFO << "FileServer - done";
  }
}

int main(int argc, char* argv[])
{
  LOG_INFO << "pid = " << getpid();
  if (argc > 1)
  {
    g_file = argv[1];

    EventLoop loop;
    InetAddress listenAddr(2021);
    TcpServer server(&loop, listenAddr, "FileServer");
    server.setConnectionCallback(onConnection);
    server.setWriteCompleteCallback(onWriteComplete);
    server.start();
    loop.loop();
  }
  else
  {
    fprintf(stderr, "Usage: %s file_for_downloading\n", argv[0]);
  }
}

版本3：采用shared_ptr管理FILE*

同2，但是采用shared_ptr管理FILE*，此版本不需要手动调用::fclose(3)。

//构造std::shared_ptr<FILE>对象管理智能指针，此处多了一个参数
//表示ctx引用计数减为0是，要销毁fp这个智能指针是通过fclos()来销毁的
   FilePtr ctx(fp, ::fclose); 

#include <muduo/base/Logging.h>
#include <muduo/net/EventLoop.h>
#include <muduo/net/TcpServer.h>

#include <stdio.h>
#include <unistd.h>

using namespace muduo;
using namespace muduo::net;

void onHighWaterMark(const TcpConnectionPtr& conn, size_t len)
{
  LOG_INFO << "HighWaterMark " << len;
}

const int kBufSize = 64*1024;
const char* g_file = NULL;
typedef std::shared_ptr<FILE> FilePtr; //智能指针

void onConnection(const TcpConnectionPtr& conn)
{
  LOG_INFO << "FileServer - " << conn->peerAddress().toIpPort() << " -> "
           << conn->localAddress().toIpPort() << " is "
           << (conn->connected() ? "UP" : "DOWN");
  if (conn->connected())
  {
    LOG_INFO << "FileServer - Sending file " << g_file
             << " to " << conn->peerAddress().toIpPort();
    conn->setHighWaterMarkCallback(onHighWaterMark, kBufSize+1);

    FILE* fp = ::fopen(g_file, "rb");
    if (fp)
    {
	  //构造std::shared_ptr<FILE>对象管理智能指针，此处多了一个参数
	  //表示ctx引用计数减为0是，要销毁fp这个智能指针是通过fclos()来销毁的
      FilePtr ctx(fp, ::fclose); 
	  
	  //conn与ctx绑定，那么通过conn就能获取ctx指针
      conn->setContext(ctx); 
      char buf[kBufSize];
      size_t nread = ::fread(buf, 1, sizeof buf, fp);
      conn->send(buf, static_cast<int>(nread));
    }
    else
    {
      conn->shutdown();
      LOG_INFO << "FileServer - no such file";
    }
  }
}

void onWriteComplete(const TcpConnectionPtr& conn)
{
  const FilePtr& fp = boost::any_cast<const FilePtr&>(conn->getContext());
  char buf[kBufSize];
  size_t nread = ::fread(buf, 1, sizeof buf, get_pointer(fp));
  if (nread > 0)
  {
    conn->send(buf, static_cast<int>(nread));
  }
  else
  {
    conn->shutdown();
    LOG_INFO << "FileServer - done";
  }
}

int main(int argc, char* argv[])
{
  LOG_INFO << "pid = " << getpid();
  if (argc > 1)
  {
    g_file = argv[1];

    EventLoop loop;
    InetAddress listenAddr(2021);
    TcpServer server(&loop, listenAddr, "FileServer");
    server.setConnectionCallback(onConnection);
    server.setWriteCompleteCallback(onWriteComplete);
    server.start();
    loop.loop();
  }
  else
  {
    fprintf(stderr, "Usage: %s file_for_downloading\n", argv[0]);
  }
}
粪逗er
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
开源Linux分布式仿真系统C++11实现（基于Muduo网络库）
ZYunfei的博客
05-19 1544
基于Muduo网络库的Linux分布式仿真系统（开源）
读Muduo源码笔记---6（Buffer：应用层缓冲区）
qq_28840229的博客
10-24 307
1、存在的原因 TCP是一个无边界的字节流协议，接收方必须要处理“收到的数据尚不构成一条完整的消息”和“一次收到两条消息的数据”等等情况。这些情况被称为粘包问题。考虑一下场景：发送方发送两条5k字节的数据，接收方收到的情况可能是如下情况： 分两次收，一次5k，第二次5k 分两次收，一次2k，第二次8k 一次收10k 其他的可能 因此，必须在应用层对粘包问题进行处理，需要在应用层定义一个缓...
（P43）muduo库使用例子（二）：文件传输
喜欢打篮球的普通人
07-07 447
文章目录1.文件传输 1.文件传输 文件传输（MuduoManual.pdf P57） eg： 42\jmuduo\examples\filetransfer\download.cc 42\jmuduo\examples\filetransfer\download2.cc examples/filetransfer/download3.cc eg测试： tests/Filetransfer_test.cc 23：10 ...
muduo网络库（2）：muduo库使用示例一
李骁睿写技术的地方
05-15 149
使用 muduo 库基于 TCP 进行消息（信令）数据传输的设计
一个软件工程师的技术笔记
08-31 244
muduo 网络库：https://github.com/chenshuo/muduo 本文与先前发的《使用 UDP 进行消息（信令）数据传输的设计》（https://blog.csdn.net/engrossment/article/details/119989756）比较相似，不过针对 TCP 与 UDP 的不同，进行了特别的设计。请留意。 消息的设计 定义好需要的消息，可使用枚举类型给每一个消息定义一个值 定义一个通用的消息 header，至少包含 msgid、msglen 字段。 然后
Muduo日志库
要回杭州的李同学
11-13 2562
本文是笔者通过学习Muduo多线程网络程序开发库日志模块所做出的总结，文中大量引用了陈硕所著的《Linux多线程服务端编程：使用muduo C++网络库》以及luotuo44《muduo日志库学习》博客中的内容。此外，本文代码取自analogous_love的开源项目flamingo，笔者在此一并表示感谢。 由于笔者接触多线程开发时间较短，文中所书难免有误，还请多多包涵~ 日志是服务器端...
Muduo_网络库使用手册
09-12
《Muduo网络库使用手册》是一份详细指导如何运用Muduo库进行网络编程的文档，主要针对C++开发者。Muduo网络库是一款高效、稳定且易于使用的开源库，专为C++11设计，它提供了异步事件驱动的网络应用框架，适用于...
转载muduo简单库文件
02-15
【压缩包子文件的文件名称列表】：“SimpleMuduo-master”很可能包含了muduo库的一个简化版本或者示例代码，可能是从GitHub等代码托管平台下载的。这个文件夹通常会包含源码文件、构建脚本、测试用例、文档和其他...
Linux多线程服务端编程-使用muduo C++网络库
06-23
《Linux多线程服务端编程：使用muduo C++网络库》主要讲述采用现代C++在x86-64 Linux上编写多线程TCP网络服务程序的主流常规技术，重点讲解一种适应性较强的多线程服务器的编程模型，即one loop per thread。...
基于nginx tcp负载均衡 + redis的集群聊天服务器，网络层使用muduo库搭建，数据库使用MySQL.zip
最新发布
12-28
基于nginx tcp负载均衡 + redis的集群聊天服务器，网络层使用muduo库搭建，数据库使用MySQL 基于nginx tcp负载均衡 + redis的集群聊天服务器，网络层使用muduo库搭建，数据库使用MySQL 基于nginx tcp负载均衡 + ...
muduo源码学习笔记(2)
hyj_zkdzslh的博客
09-12 1137
前言： ​ 对于muduo库，我觉得，光Linux多线程上提到的一些实现，还是不够的，在base/里面，还有/net里面提供了很多不错的实现，值得去学习，暑假算是看看muduo的百分之八十的源码，并对其进行了一次实现，（剩下的在最近总结的时候，也会开始看看，并实现一遍），对于muduo库，简单谈谈自己对其实现的理解。 日志缓存流LogStream ​ 在muduo实现的基础日志类，一共用来三...
客户端发送消息后muduo是怎么运行的
weixin_42468707的博客
04-13 289
这篇文章承接于我的上两篇文章： muduo核心组件分析_小猪快快跑的博客-CSDN博客 有客户端连接后muduo是怎么运行的_小猪快快跑的博客-CSDN博客 如果有不正确的地方，欢迎朋友们指正。 用 telnet 命令给服务器发送消息。 下面的颜色代表子线程。 下面是main.cc： // main.cc class EchoServer { public: EchoServer(muduo::net::EventLoop* loop, const mud.
【Linux多线程服务端编程】| 【07】TCP网络编程实例文件传输
weixin_45926547的博客
10-08 1273
【代码】【Linux多线程服务端编程】| 【07】TCP网络编程实例文件传输。
Linux多线程服务端编程：使用muduo C++网络库 学习笔记 第六章 muduo网络库简介
tus00000的博客
10-30 631
2010年3月作者写了一篇《学之者生，用之者死——ACE历史与简评》（http://blog.csdn.net/Solstice/archive/2010/03/10/5364096.aspx，ACE是（Adaptive Communication Environment）是一个C++编写的开源框架，用于开发高性能、可伸缩、分布式系统的网络应用），其中提到了作者心目中理想的网络库的样子： 1.线程安全，原生支持多核多线程。 2.不考虑可移植性，不跨平台，只支持Linux，不支持Windows。 3.主要支持
47.muduo学习笔记之example_下载文件例子
LvPartner的博客
08-21 585
说明 这个例子源码位于作者的源代码文件夹下examples/filetransfer文件下下 实现一个发送文件的命令行小工具，这个工具的协议很简单，在启动时通过命令行参数指定要发送的文件，然后在 2021 端口侦听，每当有新连接进来，就把文件内容完整地发送给对方。 可以直接用telnet测试,只是服务器把文件发过去后,直接在控制台输出 发送完就调用shutdownWrite()关闭...
muduo源码分析TcpServer接收一个链接前的准备工作
qq_43390943的博客
05-07 1178
文章目录TcpServer的构造函数setThreadNum 设置线程池池的线程数start 开始监听连接请求Acceptor的构造函数listen 这里不说muduo 的架构模式，只介绍TcpServer的函数调用关系 EventLoop ： 事件循环器，底层通过IO复用实现，用于监听所有的文件描述符 Acceptor：用于接收一个新的连接， Channel : 用于事件的分发 （当检测到有事件...
muduo库发送数据简述
CL_XYZ
03-15 1116
TCP连接发送数据和接收数据的处理方式略有不同，并没有让IO复用函数全权负责，这样做减少了程序从poll函数返回的次数，提高了服务器的效率。 具体做法是，当消息产生可以像某个socket写入的时候，我们可以调用runInLoop，让IO线程在执行doPendlingFunctor的时候替我们做发送的操作。具体来看TcpConnection模块的代码。 void TcpConnectio...
文件传输服务器(43)
Riak, Spark, Golang, Erlang, 云存储, 云计算, 数据挖掘
11-08 1643
文件传输（MuduoManual.pdf P57） examples/filetransfer/download.cc examples/filetransfer/download2.cc examples/filetransfer/download3.cc tests/Filetransfer_test.cc 单线程模式之一次性发完一个文件 #includ
使用muduo库构建Linux多线程TCP服务器实战
"《Linux多线程服务端编程：使用muduo C++网络库 清晰完整版》是一本详细介绍如何使用C++在Linux环境下编写高性能多线程TCP服务程序的书籍，由陈硕撰写。书中核心内容是介绍one loop per thread的编程模型，这是一种...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值