bzero函数_Linux网络编程相关高级I/O函数 - 读写数据的函数

readv/writev

readv函数将数据从文件描述符读到分散的内存块中，即分散读；

wirtev函数则将将多块分散的内存数据一并写入文件描述符，即集中写。

定义如下：

#include

ssize_t readv(int fd, const struct iovec* vector, int count);

ssize_t writev(int fd, const struct iovec* vector, int count);

fd参数是被操作的目标文件描述符。vector参数的类型是iovec结构数组，该结构描述一块内存区。count参数是vector数组的长度，即有多少块内存数据需要从fd读出或写到fd。readv和writev在成功时返回读出/写入fd的字节数，失败则返回-1并设置errno。相当于简化版的recvmsg和sendmsh函数。

这里假设一个web服务器。当web服务器解析完一个HTTP请求之后，如果目标文档存在且客户具有读取该文档的权限，那么它就需要发送一个HTTP应答来传输该文档。这个HTTP应答包含一个1个状态行、多个头部字段、1个空行和文档的内容。其中，前三个部分的内容可能被Web服务器放置在一块内存中，而文档的内容则通常被读入到另外一块单独的内存中(通过read函数或mmap函数)。我们并不需要把这两部分内容并接到一起再放送，而是可以使用writev函数将它们同时发出。

代码如下(web服务集中写)：

#include #include #include #include #include #include #include #include #include #include #include #include #include #define BUFFER_SIZE 1024/*定义两种HTTP状态码和状态信息*/static const char* status_line[2] = {"200 OK", "500 Internal server error"};int main(int argc, char* argv[]){    if(argc <= 3){        printf("usage: %s ip_address port_number filename", basename(argv[0]));        return 1;    }    const char* ip = argv[1];    int port = atoi(argv[2]);    const char* fileName = argv[3];    struct sockaddr_in address;    bzero(&address, sizeof(address));    address.sin_family = AF_INET;    inet_pton(AF_INET, ip, &address.sin_addr);    address.sin_port = htons(port);    int sock = socket(PF_INET, SOCK_STREAM, 0);    assert(sock > 0);    int ret = bind(sock, (struct sockaddr*)&address, sizeof(address));    assert(ret != -1);    ret = listen(sock, 5);    assert(ret != -1);    struct sockaddr_in client;    socklen_t client_addrlength = sizeof(client);    int connfd = accept(sock, (struct sockaddr*)&client, &client_addrlength);    if(connfd < 0){        printf("errno is: %d", errno);    }    else{        /*用于保存HTTP应答的状态行、头部字段和一个空行的缓存区*/        char headerBuf[BUFFER_SIZE];        memset(headerBuf, '0', BUFFER_SIZE);        char *fileBuf;        struct stat fileStat;        bool valid = true;        int len = 0;        if(stat(fileName, &fileStat) < 0){            //目标文件不存在            valid = false;        }        else{            if(S_ISDIR(fileStat.st_mode)){                //目标是一个目录                valid = false;            }            else if(fileStat.st_mode & S_IROTH){                //有读得权限                int fd = open(fileName, O_RDONLY);                fileBuf = new char[fileStat.st_size + 1];                memset(fileBuf, '0', fileStat.st_size +1);                if(read(fd, fileBuf, fileStat.st_size) < 0){                    valid < false;                }            }            else{                valid = false;            }        }        if(valid){            ret = snprintf(headerBuf, BUFFER_SIZE-1, "%s %s",                "HTTP/1.1", status_line[0]);            len += ret;            ret += snprintf(headerBuf + len, BUFFER_SIZE-1-len, "Content-Length: %d", fileStat.st_size);            len += ret;            ret = snprintf(headerBuf + len, BUFFER_SIZE-1-len, "%s", "");            /*利用writev将header_buf和file_buf的函数的内容一并写出*/            struct iovec iv[2];            iv[0].iov_base = headerBuf;            iv[0].iov_len = strlen(headerBuf);            iv[1].iov_base = fileBuf;            iv[1].iov_len = fileStat.st_size;            ret = writev(connfd, iv, 2);        }        else{            ret = snprintf(headerBuf, BUFFER_SIZE-1, "%s %s", "HTTP/1.1", status_line[1]);            len += ret;            ret = snprintf(headerBuf,BUFFER_SIZE-1-len, "%s", "");            send(connfd, headerBuf, strlen(headerBuf), 0);        }        close(connfd);        delete[] fileBuf;    }    close(sock);    return 0;}

这里需要注意的是，上述代码中我们省略了HTTP请求的接收及解析。

sendfile

sendfile函数在两个文件描述符之间直接传递数据(完全在内核和中操作)，从而避免了内核缓冲区和用户缓冲区之间的数据拷贝，效率很高，这被称为零拷贝。定义如下：

#include

ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);

• in_fd参数是待读出内容的文件描述符
• out_fd参数是待写入内容的文件描述符
• offset参数指定从读入文件流的哪个位置开始读，如果为空，则使用读入文件流默认的起始位置
• count参数指定在文件描述符in_fd和out_fd之间传输的字节数。

sendfile成功时返回传输的字节数，失败则返回-1并设置errno。

该函数的man手册明确指出:

in_fd必须是一个支持类似mmap函数的文件描述符，即必须指向真实的文件，不能是socket和管道；而out_fd则必须是一个socket。

由此可见，sendfile几乎是专门为在网络上传输文件而设计的。

下面是利用sendfile函数将服务器上的一个文件传送给客户端的示例代码：

#include #include #include #include #include #include #include #include #include #include #include #include #include int main(int argc, char const *argv[]){    if(argc <= 3){        printf("usage: %s ip_addres port_number filename", basename(argv[0]));        return 1;    }    const char* ip = argv[1];    int port = atoi(argv[2]);    const char* file_name = argv[3];    int filed = open(file_name, O_RDONLY);    assert(filed > 0);    struct stat statBuf;    fstat(filed, &statBuf);    struct sockaddr_in address;    bzero(&address, sizeof(address));    address.sin_family = AF_INET;    inet_pton(AF_INET, ip, &address.sin_addr);    address.sin_port = htons(port);    int sock = socket(PF_INET, SOCK_STREAM, 0);    assert(sock >= 0);    int ret = bind(sock, (struct sockaddr*)&address, sizeof(address));    assert(ret != -1);    ret = listen(sock, 5);    assert(ret != -1);    struct sockaddr_in client;    socklen_t client_addrlength = sizeof(client);    int connfd = accept(sock, (struct sockaddr*)&client, &client_addrlength);    if(connfd < 0){        printf("errno is %d", errno);    }    else{        sendfile(connfd, filed, NULL, statBuf.st_size);        close(connfd);    }    close(sock);    return 0;}

相比之前的代码，我们没有为目标文件分配任何用户空间的缓存，也没有执行读取文件的操作，但同样实现了文件的发送，其效率显然要高的多。

mmap函数金额munmap函数

mmap函数用于申请一段内存空间。我们可以将这段内存作为进程间通信的共享内存，也可以将文件直接映射到其中。munmap函数则释放在mmap创建的这段内存空间。它们的定义如下：

#include

void* mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

int nunmap(void *start, size_t length);

• start参数允许用户使用某个特定的地址作为这段内存的起始地址。如果它被设置成NULL，则系统自动分配一个地址。
• length参数制定内存段的长度。
• prot参数用来设置内存段的访问权限，可以取以下几个值的按位或：
  • PROT_READ 内存段可读
  • PROT_WRITE 内存段可写
  • PROT_EXEC 内存段可执行
  • PROT_NONE 内存段不能被访问
• flags参数控制内存段内容被修改后程序的行为。它可以被设置为下表中的某些值(这里仅列出常用值)的按位或(其中MAP_SHARED和MAP_PRIVATE是互斥的，不能同时指定)
  • MAP_SHARED：在进程间共享这段内存。对该内存段的修改将反映到被映射的文件中。它提供了进程建共享内存的POSIX方法。
  • MAP_PRIVATE：内存段为调用进程所私有。对该内存段的修改不会反映到被映射的文件中。
  • MAP_ANONYMOUS：这段内存不是从文件映射而来的。其内容被初始化为全0。这种情况下，mmap函数的最后两个参数将被忽略。
  • MAP_FIXED：内存段必须位于start参数指定的地址处。start必须是内存页面大小(4096字节)的整数倍。
  • MAP_HUGETLB：按照“大内存页面”来分配内存空间。“大内存页面”的大小可通过如下查看，倒数第4行：

• fd 参数是被映射文件对应的文件描述符。它一般通过open系统调用获得。offset参数设置从文件的何处开始映射(对于不需要读入整个文件的情况)

mmap函数成功时返回只想目标内存区域的指针，失败则返回MAP_FAILED((void*)-1)并设置errno。munmap函数成功是返回0，失败则返回-1并设置errno。

splice函数

splice函数用于在两个文件描述符之间移动数据，也是零拷贝操作。定义如下：

#include

ssize_t splice(int fd_in, loff_t* off_in, int fd_out, loff_t* off_out, size_t len, unsigned int flags);

• fd_in参数是待输入数据的文件描述符。
  • 如果fd_in是一个管道文件描述符，那么off_in参数必须设置为NULL。
  • 如果fd_in不是一个管道文描述符，比如socket，那么off_in表示从输入数据流的何处开始读取数据。此时若off_in设置为NULL，则表示从输入数据流的当前偏移位置读入；若off_in不为NULL，则它将指出具体的偏移位置。
• fd_out/off_flags参数的含义与fd_in/off_in相同，不过用于输出数据流。
• len参数指定移动数据的长度
• flags参数则控制数据如何移动，按下表按位或：
  • SPLICE_F_MOVE：如果合适的话，按整页内存移动数据，这只是给内核一个提示。不过，因为实现存在bug，所以自内核2.6.21后，它实际上没有任何效果
  • SPLICE_F_NONBLOCK：非阻塞的splice效果，但实际效果还会受文件描述符本身的阻塞状态的影响
  • SPLICE_F_MORE：给内核的一个提示，后续的splice调用将读取更多数据
  • SPLICE_F_GIFT：没有效果

使用splice函数时，fd_in和fd_out必须至少有一个是管道文件描述符。

splice函数调用成功返回，移动字节的数量。它可能返回0，表示没有数据要移动，这发生在从管道中读取数据(fd_in是管道文件描述符)而该管道没有被写入任何数据时。

splice函数失败时返回-1并设置errno。常见如下：

• EBADF：参数所指文件描述符有错
• EINVAL：目标文件系统不支持splice，或者目标文件以最佳方式打开，或者两个文件描述符都不是管道文件描述符，或者某个offset参数被用于不支持随机访问的设备(比如字符设备)
• ENOMEM：内存不够
• ESPIPE： 参数fd_in(或fd_out)是管道描述符，而off_in(或off_out)不为NULL。

下面是使用splice函数实现一个零拷贝的回射服务器，它将客户端发送的数据原样返回给客户端：

#include #include #include #include #include #include #include #include #include #include #include #include int main(int argc, char const *argv[]){    if(argc <= 2){        printf("usage: %s ip_address port_number", basename(argv[0]));        return 1;    }    const char* ip = argv[1];    int port = atoi(argv[2]);    struct sockaddr_in address;    bzero(&address, sizeof(address));    address.sin_family = AF_INET;    inet_pton(AF_INET, ip, &address.sin_addr);    address.sin_port = htons(port);    int sock = socket(PF_INET, SOCK_STREAM, 0);    assert(sock > 0 );    int ret = bind(sock, (struct sockaddr *)&address, sizeof(address));    assert(ret != -1);    ret = listen(sock, 5);    assert(ret != -1);    struct sockaddr_in client;    socklen_t client_socklength = sizeof(client);    int connfd = accept(sock, (struct sockaddr*)&client, &client_socklength);    if(connfd < 0){        printf("errno is: %d - %s", errno, strerror(errno));    }    else{        int pipefd[2];        assert(ret != -1);        ret = pipe(pipefd); /*创建管道*/        ret = splice(connfd, NULL, pipefd[1], NULL, 32768, SPLICE_F_MORE|SPLICE_F_MOVE);        assert(ret != -1);        ret = splice(pipefd[0], NULL, connfd, NULL, 32768, SPLICE_F_MORE|SPLICE_F_MOVE);        assert(ret!=-1);        close(connfd);    }    close(sock);    return 0;}

我们通过将splice函数将客户端的内容读入到pipefd[1]中，然后再使用splice函数从pipefd[0]中读出该内容到客户端，从而实现了简单高效的回射服务。整个过程未执行recv/send操作，因此也未涉及用户空间和内核空间之间的数据拷贝。

tee函数

tee函数在两个管道文件描述符之间复制数据，也是零拷贝操作。它不消耗数据，因此源文件描述符上的数据仍然可以用于后续的读操作。tee函数的原型如下：

#include

ssize_t tee(int fd_in, int fd_out, size_t len, unsigned int flags);

fd_in和fd_out必须都是管道文件描述符。tee函数成功时返回在两个文件描述符之间复制的字节数。返回0表示没有复制任何数据。tee失败则返回-1并设置errno。

下面是同时输出数据到终端和文件的程序示例代码：

#include #include #include #include #include #include int main(int argc, char const *argv[]){    if(argc != 2){        printf("usage: %s ", basename(argv[0]));        return 1;    }    int filefd = open(argv[1], O_CREAT|O_WRONLY|O_TRUNC, 0777);    assert(filefd > 0);    int pipefd_stdout[2];    int ret = pipe(pipefd_stdout);    assert(ret !=-1);    int pipefd_file[2];    ret = pipe(pipefd_file);    assert(ret != -1);    /*将标准输入内容输入管道*/    ret = splice(STDIN_FILENO, NULL,            pipefd_stdout[1], NULL, 32768, SPLICE_F_MORE|SPLICE_F_MOVE);    assert(ret != -1);    /*将管道pipefd_stdout[0]的输出复制到管道pipefd_file的输入端*/    ret = tee(pipefd_stdout[0], pipefd_file[1], 32768, SPLICE_F_NONBLOCK);    assert(ret != -1);    /*将管道pipefd_file的输出定向到文件描述符fiefd上，从而将标准输入的内容写写入文件*/    ret = splice(pipefd_file[0], NULL, filefd, NULL, 32768, SPLICE_F_MORE|SPLICE_F_MOVE);    assert(ret != -1);    /*将管道pipefd_stdout的输出定向到标准输出，其内容和写入文件的内容完全一致*/    ret = splice(pipefd_stdout[0], NULL,             STDOUT_FILENO, NULL, 32768, SPLICE_F_MORE|SPLICE_F_MOVE);    assert(ret != -1);    close(filefd);    close(pipefd_stdout[0]);    close(pipefd_stdout[1]);    close(pipefd_file[0]);    close(pipefd_file[1]);    return 0;}