【Linux C | 网络编程】进程池大文件传输的实现详解（三）

已于 2024-07-27 19:00:50 修改
阅读量947 收藏 8
点赞数 28
分类专栏： linux网络编程 文章标签： linux 网络 服务器 c语言 网络协议
于 2024-07-27 16:59:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42037383/article/details/140735369
版权

上一篇实现了进程池的小文件传输，使用自定义的协议，数据长度+数据本身，类似小火车的形式，可以很好的解决TCP“粘包”的问题。

【Linux C | 网络编程】进程池小文件传输的实现详解（二）

当文件的内容大小少于小火车车厢的时候，上述代码的表现是非常完美的。但是如果一旦文件长度大于火车车厢大小，那么上述代码就无能为力了。
那么当传出大文件的时候有哪些办法呢？

1.使用循环来传输

最自然的思路解决大文件问题就是使用循环机制：发送方使用一个循环来读取文件内容，每当读取一定字节的数据之后，将这些数据的大小和内容填充进小火车当中；接收方就不断的使用 recv 接收小火车的火车头和车厢，先读取4 个字节的火车头，再根据车厢长度接收后续内容。

对于大文件的传输先要获取大文件的长度的信息，这里可以使用fstat()函数。

服务端发送大文件的流程：

1.获取大文件的长度信息

2.使用一个小火车先发送大文件的，文件名长度+文件名内容

3.发送大文件的内容，先发文件内容的长度信息，然后使用小火车循环发送文件的内容

#include "process_pool.h"

#define FILENAME "bigfile.avi"

//sendn函数可以发送确定的字节数
//sockfd:通信套接字，buff：要发送的内容，len：要发送的内容字节数
int sendn(int sockfd, const void * buff, int len)
{
    int left = len;
    const char* pbuf = buff;
    int ret = -1;
    while(left > 0) {
        ret = send(sockfd, pbuf, left, 0);
        if(ret < 0) {
            perror("send");
            return -1;
        }
        left -= ret;
        pbuf += ret;
    }
    return len - left;
}

int transferFile(int peerfd)
{
    //读取本地文件
    int fd = open(FILENAME, O_RDONLY);
    ERROR_CHECK(fd, -1, "open");
    //获取文件的长度
    struct stat st;
    memset(&st, 0, sizeof(st));
    fstat(fd, &st);
    char buff[100] = {0};
    int filelength = st.st_size;        //获取文件的大小
    printf("filelength: %d\n", filelength);

    //进行发送操作
    //1. 发送文件名
    train_t t;
    memset(&t, 0, sizeof(t));
    t.len = strlen(FILENAME);
    strcpy(t.buf, FILENAME);
    sendn(peerfd, &t, 4 + t.len);
    
    //2. 再发送文件内容
    //2.1 发送文件的长度
    sendn(peerfd, &filelength, sizeof(filelength));

    int ret = 0;
    int total = 0;
    //2.2 再发送文件内容
    while(total < filelength) {
        memset(&t, 0, sizeof(t));
        ret = read(fd, t.buf, 1000);        //每次从文件读取1000个字节的内容,放到一个小火车上
        if(ret > 0) {
            t.len = ret;                    //初始化小火车的车头长度
            //sendn函数确保 4 + t.len 个字节的数据能正常发送
            ret = sendn(peerfd, &t, 4 + t.len);
            if(ret < 0) {
                printf(">> exit while not send.\n");
                break;//发生了错误,就退出while循环
            }
            total += (ret - 4);             //已发送内容，不包括车头
        }
    }

    return 0;
}

服务端接受流程：

1.先接受文件名内容

2.接受文件的内容

#include <func.h>

int main()
{
    //创建客户端的套接字
    int clientfd = socket(AF_INET, SOCK_STREAM, 0);
    ERROR_CHECK(clientfd, -1, "socket");

    struct sockaddr_in serveraddr;
    memset(&serveraddr, 0, sizeof(serveraddr));
    //指定使用的是IPv4的地址类型 AF_INET
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(8080);
    serveraddr.sin_addr.s_addr = inet_addr("127.0.0.1");

    //连接服务器
    int ret = connect(clientfd, (struct sockaddr*)&serveraddr, 
                      sizeof(serveraddr));
    ERROR_CHECK(ret, -1, "connect");
    printf("connect success.\n");

    //进行文件的接收
    //1. 先接收文件的名字
    //1.1 先接收文件名的长度
    int length = 0;
    ret = recv(clientfd, &length, sizeof(length), 0);
    printf("filename length: %d\n", length);
    //1.2 再接收文件名本身
    char buff[1000] = {0};
    ret = recv(clientfd, buff, length, 0);
    printf("1 recv ret: %d\n", ret);
    int fd = open(buff, O_CREAT|O_RDWR, 0644);
    ERROR_CHECK(fd, -1, "open");

    //2. 再接收文件的内容
    //2.1 先接收文件内容的长度
    ret = recv(clientfd, &length, sizeof(length), 0);
    printf("fileconent length: %d\n", length);

    int total = 0;
    int len = 0;//每一个分片的长度
    //2.2 再接收文件内容本身
    while(total < length) {
        recv(clientfd, &len, sizeof(len), 0);
        if(len != 1000) {
            printf("slice len: %d\n", len);
            //printf("total: %d bytes.\n", total);
        }
        memset(buff, 0, sizeof(buff));
        //recv函数无法保证每一次接收都能获取len个字节的长度
        //因此出现了读取长度异常的情况
        ret = recv(clientfd, buff, len, 0);// ret <= len
        //printf("slice %d bytes.\n", ret);
        if(ret > 0) {
            total += ret;
            write(fd, buff, ret);//写入本地文件
        }
    }

    close(fd);
    close(clientfd);

    return 0;
}

使用md5算法计算哈希值验证文件的正确性：

# client
$md5sum file2
# 计算md5码需要等待一段时间
8e9d11a16f03372c82c5134278a0bd7d file2
# server
$md5sum file2
8e9d11a16f03372c82c5134278a0bd7d file2

存在问题：

一般情况下上述方法确实可以传输完整的文件，但是存在一个大bug：recv函数无法保证每一次接收都能获取len个字节的长度，因此出现了读取长度异常的情况。

比如：内容只传输了一半，后续的数据就直接被当成长度了 出现了长度的偏差，导致传输出现问题，下一次循环开始时，本来希望读取的是长度信息，但其实读取的是内容，从而导致长度数据出现问题。

原因是：TCP是一种流式协议，它只能负责每个报文可靠有序地发送和接收，但是并不能保证传输到网络缓冲区当中的就是完整的一个小火车。这样就有可能会到导致数据读取问题，下面就举一个例子：假设发送方需要传输两个小火车，其中每个 车厢都是1000个字节，那么自然火车头都是4个字节，里面各自存储了1000 （当然是二进制形式），当 两个小火车发送到socket的时候，由于TCP是流式协议，所以小火车与小火车之间边界就不见了，到了 接收方这边， recv可能会先收到4个字节确定第一个小火车的车厢长度，再收到800字节，此时继续再 recv就会从第一个火车车厢中继续取出4个字节，那这4个字节显然就不是第二个小火车的车厢长度 了。

有以下解决方案：

1.1使用MSG_WAITALL（接收完整的长度数据）

recv函数用于从套接字接收数据。它的第四个参数是一个标志，用来控制接收操作的行为。

  • 如果将第四个参数设置为0或者使用MSG_WAITALL标志，recv函数会一直阻塞，直到接收到指定长度的数据。
  • 如果接收到的数据长度小于请求的长度，recv函数会一直阻塞直到接收完指定长度的数据或者发生错误。
#include <func.h>

int main()
{
    //创建客户端的套接字
    int clientfd = socket(AF_INET, SOCK_STREAM, 0);
    ERROR_CHECK(clientfd, -1, "socket");

    struct sockaddr_in serveraddr;
    memset(&serveraddr, 0, sizeof(serveraddr));
    //指定使用的是IPv4的地址类型 AF_INET
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(8080);
    serveraddr.sin_addr.s_addr = inet_addr("127.0.0.1");

    //连接服务器
    int ret = connect(clientfd, (struct sockaddr*)&serveraddr, 
                      sizeof(serveraddr));
    ERROR_CHECK(ret, -1, "connect");
    printf("connect success.\n");

    //进行文件的接收
    //1. 先接收文件的名字
    //1.1 先接收文件名的长度
    int length = 0;
    ret = recv(clientfd, &length, sizeof(length), 0);
    printf("filename length: %d\n", length);
    //1.2 再接收文件名本身
    char buff[1000] = {0};
    ret = recv(clientfd, buff, length, 0);
    printf("1 recv ret: %d\n", ret);
    int fd = open(buff, O_CREAT|O_RDWR, 0644);
    ERROR_CHECK(fd, -1, "open");

    //2. 再接收文件的内容
    //2.1 先接收文件内容的长度
    ret = recv(clientfd, &length, sizeof(length), 0);
    printf("fileconent length: %d\n", length);

    int total = 0;
    int len = 0;//每一个分片的长度
    //2.2 再接收文件内容本身
    while(total < length) {
        recv(clientfd, &len, sizeof(len), MSG_WAITALL);
        if(len != 1000) {
            printf("slice len: %d\n", len);
            //printf("total: %d bytes.\n", total);
        }
        memset(buff, 0, sizeof(buff));
        //将recv函数的第四个参数设置为MSG_WAITALL之后，
        //表示必须要接收len个字节的数据之后，才会返回
        ret = recv(clientfd, buff, len, MSG_WAITALL);// ret <= len
        //printf("slice %d bytes.\n", ret);
        if(ret > 0) {
            total += ret;
            write(fd, buff, ret);//写入本地文件
        }
    }

    close(fd);
    close(clientfd);

    return 0;
}

1.2每次循环发送和接受指定长度的数据

服务端发来多少客户端就接受多少，服务端封装一个发送指定大小数据的函数，客户端封装一个接收指定大小数据的函数。

客户端代码：

#include <func.h>

//接收确定的字节数的数据
//sockfd:通信套接字，buff：接收的内容,len：接收内容的长度
int recvn(int sockfd, void * buff, int len)
{
    int left = len;
    char * pbuf = buff;
    int ret = -1;
    while(left > 0) {
        ret = recv(sockfd, pbuf, left, 0);
        if(ret == 0) {
            break;
        } else if(ret < 0) {
            perror("recv");
            return -1;
        }
        left -= ret;
        pbuf += ret;
    }
    return len - left;
}

int main()
{
    //创建客户端的套接字
    int clientfd = socket(AF_INET, SOCK_STREAM, 0);
    ERROR_CHECK(clientfd, -1, "socket");

    struct sockaddr_in serveraddr;
    memset(&serveraddr, 0, sizeof(serveraddr));
    //指定使用的是IPv4的地址类型 AF_INET
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(8080);
    serveraddr.sin_addr.s_addr = inet_addr("127.0.0.1");

    //连接服务器
    int ret = connect(clientfd, (struct sockaddr*)&serveraddr, 
                      sizeof(serveraddr));
    ERROR_CHECK(ret, -1, "connect");
    printf("connect success.\n");

    //进行文件的接收
    //1. 先接收文件的名字
    //1.1 先接收文件名的长度
    int length = 0;
    ret = recvn(clientfd, &length, sizeof(length));
    printf("filename length: %d\n", length);
    //1.2 再接收文件名本身
    char buff[1000] = {0};
    ret = recvn(clientfd, buff, length);
    printf("1 recv ret: %d\n", ret);
    int fd = open(buff, O_CREAT|O_RDWR, 0644);
    ERROR_CHECK(fd, -1, "open");

    //2. 再接收文件的内容
    //2.1 先接收文件内容的长度
    ret = recvn(clientfd, &length, sizeof(length));
    printf("fileconent length: %d\n", length);

    int total = 0;
    int len = 0;//每一个分片的长度
    //2.2 再接收文件内容本身
    while(total < length) {
        ret = recvn(clientfd, &len, sizeof(len));
        if(len != 1000) {
            printf("slice len: %d\n", len);
            //printf("total: %d bytes.\n", total);
        }
        memset(buff, 0, sizeof(buff));
        ret = recvn(clientfd, buff, len);
        if(ret != 1000) {
            //printf("slice %d bytes.\n", ret);
        }
        if(ret > 0) {
            total += ret;
            write(fd, buff, ret);//写入本地文件
        }
    }

    close(fd);
    close(clientfd);

    return 0;
}

1.3客户端断开连接   --- SIGPIPE信号的处理

现象：客户端断开连接时，导致服务器中的某一个子进程挂掉了，变成了僵尸进程，导致父子进程通信的管道被关闭了。而父进程一直监听该管道，因此epoll_wait不断返回，才有了服务器疯狂打印的情况出现。

通常情况下，如果程序向一个已经关闭写入的管道写数据，操作系统会发送 SIGPIPE 信号给进程，而默认的行为是终止该进程。但是有时候我们希望在这种情况下不让程序退出，而是希望处理其他错误或者采取其他措施。这时候就可以通过 signal(SIGPIPE, SIG_IGN); 来忽略 SIGPIPE 信号，让程序继续执行下去。

当客户端关闭时，服务器先执行第一次send操作，客户端会返回一个RST报文 当服务器的子进程再次发送第二次send操作时，会接收到SIGPIPE信号，导致子进程奔溃，从而导致子进程与父进程通信的管道也会关掉。

解决该问题：只需要让子进程忽略掉SIGPIPE信号即可。

1.4客户端打印文件传输的进度条

#include <func.h>

//接收确定的字节数的数据
int recvn(int sockfd, void * buff, int len)
{
    int left = len;
    char * pbuf = buff;
    int ret = -1;
    while(left > 0) {
        ret = recv(sockfd, pbuf, left, 0);
        if(ret == 0) {
            break;
        } else if(ret < 0) {
            perror("recv");
            return -1;
        }
        left -= ret;
        pbuf += ret;
    }
    return len - left;
}

int main()
{
    //创建客户端的套接字
    int clientfd = socket(AF_INET, SOCK_STREAM, 0);
    ERROR_CHECK(clientfd, -1, "socket");

    struct sockaddr_in serveraddr;
    memset(&serveraddr, 0, sizeof(serveraddr));
    //指定使用的是IPv4的地址类型 AF_INET
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(8080);
    serveraddr.sin_addr.s_addr = inet_addr("127.0.0.1");
    //serveraddr.sin_addr.s_addr = inet_addr("192.168.30.129");

    //连接服务器
    int ret = connect(clientfd, (struct sockaddr*)&serveraddr, 
                      sizeof(serveraddr));
    ERROR_CHECK(ret, -1, "connect");
    printf("connect success.\n");

    //进行文件的接收
    //1. 先接收文件的名字
    //1.1 先接收文件名的长度
    int length = 0;
    ret = recvn(clientfd, &length, sizeof(length));
    printf("filename length: %d\n", length);
    //1.2 再接收文件名本身
    char buff[1000] = {0};
    ret = recvn(clientfd, buff, length);
    printf("1 recv ret: %d\n", ret);
    int fd = open(buff, O_CREAT|O_RDWR, 0644);
    ERROR_CHECK(fd, -1, "open");

    //2. 再接收文件的内容
    //2.1 先接收文件内容的长度
    ret = recvn(clientfd, &length, sizeof(length));
    printf("fileconent length: %d\n", length);

    int segment = length / 100;//百分之一的长度
    int lastSize = 0;

#if 1
    int curSize = 0;
    int len = 0;//每一个分片的长度
    //2.2 再接收文件内容本身
    while(curSize < length) {
        ret = recvn(clientfd, &len, sizeof(len));
        memset(buff, 0, sizeof(buff));
        ret = recvn(clientfd, buff, len);
        if(ret > 0) {
            curSize += ret;
            write(fd, buff, ret);//写入本地文件
            if(curSize - lastSize > segment) {      //每百分之一打印一次
                //打印进度条
                printf("has complete %5.2f%%\r", (double)100 * curSize / length);
                fflush(stdout);
                lastSize = curSize;//更新上一次打印百分比时的长度
            }
        }
    }
    printf("has complete 100.00%%\n");
#endif

    close(fd);
    close(clientfd);

    return 0;
}

菜林子
关注
  • 28
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux多线程服务端编程：使用muduo C++网络库
08-17
《Linux多线程服务端编程：使用muduo C++网络库》主要讲述采用现代C++在x86-64 Linux上编写多线程TCP网络服务程序的主流常规技术，重点讲解一种适应性较强的多线程服务器的编程模型，即one loop per thread。...
嵌入式Linux应用程序开发详解
04-06
1. **Linux基础知识**：熟悉Linux操作系统的文件系统结构、命令行操作、进程管理等基本概念。 2. **C/C++编程**：嵌入式开发常用的语言是C和C++，掌握它们的基本语法、内存管理和面向对象编程是必要的。 3. **编译...
linux_wlbc(jb51.net).rar
05-22
【Linux网络编程基础详解】 Linux网络编程是操作系统与网络应用之间的桥梁，它是开发高效、稳定、高并发网络服务的关键。Linux作为一个开源操作系统，其强大的网络功能和灵活性使其成为网络编程的首选平台。本资料...
Linux：Linux发展史
weixin_51142926的博客
07-22 4353
大家好！此篇文章并非技术博文，而是简单了解Linux的时代背景和发展史，只有知其所以然才能让我们更好地让走进Liunx的世界！
【Linux】一些基本指令
weixin_73914025的博客
07-25 682
在学习操作系统的时候，我们应该要清楚操作系统是什么。操作系统是一款进行软硬件资源管理的软件。如果没有操作系统，即使是有一台好的电脑配有一套好的鼠标和键盘，我们也无法使用这台电脑。所以我们也就知道了为什么要进行软硬件资源管理，目的就是为我们使用机器提供了良好的服务。我们在《Linux的环境搭配中》提到了云服务器的使用，为了方便学习，我在Linux的学习中，将会使用云服务器来进行学习。在上面提到的那片文章中，我们提到了Xshell，我们在每次打开Xshellssh (用户名)@(公网IP)
Linux下pip的安装、命令总结、换源
2301_79695159的博客
07-24 587
Linux下pip的安装、命令总结、换源
【Linux】 Linux makefile 教程
沐风—云端行者
07-23 755
什么是makefile？或许很多Winodws的程序员都不知道这个东西，因为那些Windows的IDE都为你做了这个工作，但我觉得要作一个好的和professional的程序员，makefile还是要懂。这就好像现在有这么多的HTML的编辑器，但如果你想成为一个专业人士，你还是要了解HTML的标识的含义。特别在Unix下的软件编译，你就不能不自己写makefile了，会不会写makefile，从一个侧面说明了一个人是否具备完成大型工程的能力。因为，makefile关系到了整个工程的编译规则。一个工程中的源文
【Linux C | 网络编程】进程间传递文件描述符socketpair、sendmsg、recvmsg详解
最新发布
qq_42037383的博客
07-25 1008
我们的目的是，实现进程间传递文件描述符，是指 A进程打开文件fileA,获得文件描述符为fdA，现在 A进程要通过某种方法，传递fdA，使得另一个进程B，获得一个新的文件描述符fdB，这个fdB在进程B中的作用，跟fdA在进程A中的作用一样。即在 fdB上的操作，即是对fileA的操作。可能很多人想到的是用管道pipe来实现，但是却没想象的那么容易。
Linux取消U盘自动挂载
dmgy110的博客
07-25 345
【代码】Linux取消U盘自动挂载。
Linux中将文件解压到指定目录
weixin_61663117的博客
07-23 406
请确保目标目录已经存在，否则上述命令可能会报错。如果目录不存在，你可以使用。通常是用来压缩单个文件的，而不是目录。所以你需要指定解压后的文件名。选项会创建所有必要的父目录。是你想要解压到的目标目录。选项后面跟着的是目标目录。通常用于压缩单个文件。
Linux——DNS服务搭建
ln2915275834的博客
07-23 936
要求能够ping通外网，有yum源。
linux设置～/.vimrc步骤
qq_43982499的博客
07-24 556
set backupdir=~/.vim/backup " 设置备份文件存放路径。set tabstop=4 " 设置Tab键宽度为4个空格。set shiftwidth=4 " 设置自动缩进宽度为4个空格。set undodir=~/.vim/undo " 设置撤销历史文件存放路径。set hlsearch " 搜索结果高亮显示。set fileformat=unix " 设置文件格式为Unix风格。
计算机技术基础 （bat 批处理）Note4
weixin_46530456的博客
07-23 1034
本节主要讲解一些 bat 批处理文件中的一些特殊符号，包括和>>和&&和||" ";()
Linux中的三类读写函数
2302_81386929的博客
07-25 1086
Linux标准文件描述符我们使用printf和write都可以输出正常的字符串当我们给程序加上一条死循环的程序，就会发现用printf()不能继续执行，而用write可以继续执行。这个原因就是因为缓存问题，见下文缓存的概念1.我们的程序中的缓存，就是你想从内核读写的缓存（数组）----用户空间的缓存2.每打开一个文件，内核在内核空间中也会开辟一块缓存，这个叫内核空间的缓存文件IO中的即是将用户空间中的缓存到内核空间的缓存中。文件IO中的即是将内核空间的缓存到用户空间中的缓存中。
Windows 下的sqlserver数据拷贝到linux
cyw8998的专栏
07-25 221
2.在 >1 提示符下，输入以下 RESTORE DATABASE 命令，并在每行后按 Enter（无法同时复制和粘贴整个多行命令）。将出现的所有 gpdb 替换为数据库的名称。1.启动 sqlcmd。下面的示例以 SA 用户身份连接到本地 SQL Server。出现提示时输入密码，或使用 -P 参数指定密码。SSH打开linux终端。
Linux 大页修改
weixin_57632548的博客
07-24 323
若操作系统当前Hugepagesize不是2048kB，则只能通过修改kernel cmdline的方式进行配置修改，此方式在系统重启后仍然生效。不同Linux发行版本的配置方式有所不同。
2024-07-24 Linux C語言使用inotify进行文件变化检测
海月汐辰
07-24 320
inotify。
【Linux】网络通信基础：应用层协议、HTTP、序列化与会话管理
Colorful___的博客
07-25 1532
在现代计算机网络通信中，应用层协议扮演着至关重要的角色，它们定义了客户端和服务器之间如何交换数据。本文将深入探讨应用层自定义协议与序列化技术，并详细解析HTTP协议，这是互联网上使用最广泛的应用层协议之一。通过本文，读者将能够理解应用层的概念、协议的重要性、序列化与反序列化的过程，以及HTTP协议的工作原理和相关技术细节。我们程序员写的一个个解决我们实际问题, 满足我们日常需求的网络程序, 都是在应用层。
【linux】【设备树】具有 GPIO 控制器和连接器的硬件配置的备树（Device Tree）代码讲解
联系方式：927632640
07-25 706
这段代码配置了两个 GPIO 控制器，并通过 connector 节点将这些控制器的 GPIO 通过映射规则连接起来。expansion_device 节点使用 connector 节点中的一个 GPIO 来控制设备的复位。此配置允许灵活地管理 GPIO，并且能够适配不同的 GPIO 控制器和设备需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值