C++ TinyWebServer项目总结（6. 高级 I/O 函数）

已于 2024-08-19 23:05:37 修改
阅读量1k 收藏 17
点赞数 12
分类专栏： 《Linux 高性能服务器编程》总结 文章标签： linux c++ 服务器
于 2024-08-19 22:55:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Teriri_/article/details/141336822
版权

文件描述符

文件描述符（File Descriptor, FD）是操作系统中用于访问文件的一个抽象概念。它是一个非负整数，通常由操作系统分配，用来标识被打开的文件或输入输出资源（如管道、网络连接等）。文件描述符在操作系统和应用程序之间充当桥梁，允许程序通过文件描述符来读取、写入文件或进行其他I/O操作。

文件描述符的类型

文件描述符通常分为三类标准描述符：

  1. 标准输入（Standard Input，FD 0）：
  • 默认情况下与键盘关联，通常用于从用户那里接收输入数据。
  1. 标准输出（Standard Output，FD 1）：
  • 默认情况下与终端窗口关联，通常用于向用户显示输出数据。
  1. 标准错误（Standard Error，FD 2）：
  • 默认情况下也与终端窗口关联，但通常用于显示错误消息或诊断信息。

文件描述符的使用

在UNIX和类UNIX操作系统中，文件描述符用于各种I/O操作，包括：

  • 打开文件：open() 系统调用返回一个文件描述符，表示已打开的文件。
  • 读取文件：read() 系统调用使用文件描述符从文件中读取数据。
  • 写入文件：write() 系统调用使用文件描述符将数据写入文件。
  • 关闭文件：close() 系统调用使用文件描述符关闭文件，以释放系统资源。

文件描述符不仅限于文件，还可以用于网络套接字（socket）、管道(pipe)、设备文件等各种输入输出资源。通过文件描述符，程序可以对这些资源进行抽象的统一操作。

socket 和文件描述符的关系

socket 和文件描述符之间有着密切的关系，特别是在 UNIX 和类 UNIX 操作系统中。简而言之，socket 是一种特殊类型的文件描述符，它用于网络通信。

Socket 与文件描述符的关系

  1. Socket 是文件描述符的一种：
  • 在操作系统中，socket 被抽象为文件，这意味着每个 socket 都可以通过文件描述符进行标识和操作。文件描述符不仅用于文件，还可以用于其他 I/O 资源，如 socket、管道、设备文件等。
  1. Socket 的创建与文件描述符：
  • 当你使用 socket() 系统调用创建一个 socket 时，操作系统会返回一个文件描述符，这个文件描述符代表了创建的 socket。例如：
int sockfd = socket(AF_INET, SOCK_STREAM, 0);

这里，sockfd 就是一个文件描述符，后续的所有 socket 操作（如连接、发送、接收等）都将通过该文件描述符来进行。

  1. Socket 的操作类似于文件操作：
  • 和普通文件一样，socket 的读写操作也是通过 read()、write() 甚至是 send()、recv() 等系统调用来完成的。你可以使用这些调用函数来向 socket 发送或接收数据。例如：
char buffer[1024];
int n = read(sockfd, buffer, sizeof(buffer));

在这个例子中，read() 函数通过 sockfd 文件描述符从 socket 中读取数据。

  1. Socket 的关闭：
  • 当 socket 不再需要使用时，可以使用 close() 系统调用关闭它，就像关闭文件一样。关闭操作将释放与该文件描述符相关的所有资源：
close(sockfd);
  1. 重定向与 socket：
  • 在某些高级应用中，可以通过重定向文件描述符来实现 socket 与其他文件描述符的交换。例如，将标准输入/输出重定向到一个 socket，从而通过网络连接来读写数据。

pipe 函数

用于创建管道，实现进程之间的通信。

#include <unistd.h>

//成功返回0，失败返回-1并设置errno
int pipe(int fd[2]);
  • fd[1]只能用于数据写入。
  • fd[0]只能用于数据读出。

socket 的基础 API 中有一个 socketpair 函数：

#include <sys/types.h>
#include <sys/socket.h>
//成功返回0，失败返回-1设置errno
int socketpair(int domain, int type, int protocol, int fd[2]);

domain只能使用UNIX本地协议族AF_UNIX，所以socketpair只能在本地使用，不过创建的这对文件描述符都是可读可写的。

dup函数和dup2函数

可以将标准输入重定向到一个文件，或者标准输出重定向到一个网络连接。

#include <unistd.h>
int dup(int file_descriptor);
int dup2(int file_descriptor_one, int file_descriptor_two);

以下程序使用dup函数实现了一个基本的CGI服务器：

#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <libgen.h>

int main(int argc, char *argv[]) {
    if (argc <= 2) {
        printf("usage: %s ip_address port_number\n", basename(argv[0]));
        return 1;
    }
    const char *ip = argv[1];
    int port = atoi(argv[2]);

    struct sockaddr_in address;
    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_addr);
    address.sin_port = htons(port);

    // 创建套接字
    int sock = socket(PF_INET, SOCK_STREAM, 0);
    assert(sock >= 0);

    // 绑定套接字
    int ret = bind(sock, (struct sockaddr *)&address, sizeof(address));
    assert(ret != -1);

    // 监听套接字，最大等待连接队列的长度为5
    ret = listen(sock, 5);
    assert(ret != -1);

    struct sockaddr_in client;
    socklen_t client_addrlength = sizeof(client);

    // 接受客户端连接
    int connfd = accept(sock, (struct sockaddr *)&client, &client_addrlength);
    if (connfd < 0) {
        printf("errno is: %d\n", errno);
    } else {
        // 先关闭标准输出文件描述符STDOUT_FILENO，其值为1
        close(STDOUT_FILENO);
        // 复制socket文件描述符connfd，由于dup函数总是返回系统中最小的可用文件描述符
        // 因此dup参数实际返回的是1，即之前关闭的标准输出文件描述符的值
        // 这样服务器输出到标准输出的内容会直接发送到与客户连接对应的socket上
        dup(connfd);
        printf("abcd\n");
        close(connfd);
    }

    close(sock);
    return 0;
}

代码首先关闭标准输出文件描述符STDOUT_FILENO，其值为1（由宏定义）;

dup(connfd);复制客户端连接的文件描述符，并将其重定向为标准输出文件描述符1（即STDOUT_FILENO）;

之后的printf("abcd\n");语句输出的内容将通过套接字发送给客户端（而非终端）。

char* a[3]; 与 char a[3];

char* a[3]; 与 char a[3]; 之间的主要区别在于：

1. 类型和结构的不同:

char a[3];:

  • 这是一个包含3个字符元素的字符数组。
  • 它占用3个字节的连续内存空间，每个元素都是一个char类型的字符。
  • 适用于存储一组字符，通常用于存储小的字符串或字符数据。

char* a[3];:

  • 这是一个包含3个元素的指针数组，每个元素都是指向char类型数据的指针。
  • 这意味着你可以在这个数组中存储3个字符指针，每个指针可以指向一个字符串或字符数组。
  • 适用于存储字符串的指针或一组字符数组的指针。

2. 内存布局的不同:

char a[3];:

  • 内存中会有3个连续的字节，每个字节存储一个字符。
  • 例如，a[0]、a[1]和a[2]都存储在相邻的内存地址中。

char* a[3];:

  • 内存中会有3个连续的指针，每个指针指向一个char类型的数据。
  • 这些指针本身占用空间（在32位系统中每个指针占用4个字节，在64位系统中每个指针占用8个字节），它们指向的内容可以是任意内存位置的字符或字符串。
  • 例如，a[0]、a[1]和a[2]存储的是指针，而不是字符本身。

3. 使用场景的不同:

char a[3];:

  • 适用于存储一小段字符数据，例如单个短字符串。
  • 例如，你可以用它来存储字符串 "Hi"，并以 '\0' 结尾。

char* a[3];:

  • 适用于存储多个字符串的指针，通常用于二维字符数组或字符串数组的场景。
  • 例如：
char* a[3];
a[0] = "Hello";
a[1] = "World";
a[2] = "!";
  • 这里a[0]、a[1]和a[2]分别指向三个不同的字符串常量。

总结

char a[3]; 是一个存储字符的数组。

char* a[3]; 是一个存储字符指针的数组，通常用于存储字符串的指针。

readv函数和writev函数

readv函数将数据从文件描述符读到分散的内存块中，即分散读；writev函数将多块分散的内存数据一并写入文件描述符中，即集中写：

#include <sys/uio.h>

//成功返回读写的字节数，失败返回-1并设置errno
ssize_t readv(int fd, const struct iovec* vector, int count); 	//分散读
ssize_t writev(int fd, const struct iovec* vector, int count); 	//集中写

结构体 iovec：

struct iovec{
	void *iov_base;		//内存块起始地址
	size_t iov_len;		//内存块长度
};

sendfile函数

sendfile函数在两个文件描述符之间直接传递数据，完全在内核中操作，避免内核缓冲区和用户缓冲区之间的数据拷贝，效率高。这被称为零拷贝。

#include <sys/sendfile.h>

//成功返回传输的字节数，失败返回-1并设置errno
ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);

参数：

  • in_fd：待读出内容的文件描述符
  • out_fd：待写入内容的文件描述符
  • offset：指定从读入文件流的哪个位置开始读，如果为空，则使用默认起始位置
  • count：指定in_fd和out_fd之间传输的字节数。

mmap函数和munmap函数

mmap用于申请一段内存空间，这段内存可以用于进程间通信的共享内存，也可以直接将文件映射到其中，munmap用于释放这段空间。

#include <sys/mman.h>

//成功返回指向目标区域的指针，失败返回MAP_FAILED((void*) -1)，并设置errno
void* mmap(void *start, size_t length, int port, int flags, int fd, off_t offset);
//成功返回0，失败返回-1并设置errno
int munmap(void *start, size_t length);

参数：

  • start ：允许用户使用某一个特定的地址作为这段内存的起始地址，如果是设置为NULL，则系统自动分配。
  • length：指定这段内存的长度
  • port：设置内存段的访问权限。
    • PROT_READ，内存段可读。
    • PROT_WRITE，内存段可写。
    • PROT_EXEC，内存段可执行。
    • PROT_NONE，内存段不能被访问。
  • flags：控制内存段内容被修改后 程序的行为。

  • fd：是被映射文件的文件描述符，一般通过open系统调用获取
  • offset：设置从文件的何处开始映射。

splice函数

用于两个文件描述符之间移动数据，也是零拷贝操作。

#include <fcntl.h>
ssize_t splice(int fd_in, loff_t* off_in, int fd_out, loff_t* off_out, size_t len, unsigned int flags);

参数：

  • fd_in：是输入数据的文件描述符，用于数据的读出。
  • fd_out和off_out含义类似，用于输出数据流（数据写入）。
  • len：指定移动数据的长度。
  • flags：控制数据如何移动。

tee函数

tee函数在两个管道文件描述符之间复制数据，也是零拷贝操作，不消耗数据，而splice从管道中读取数据，也就是消耗数据。

#include <fcntl.h>
ssize_t tee(int fd_in, int fd_out, size_t len, unsigned int flags);

参数：

  • fd_in和fd_out必须都是管道文件描述符

fcntl函数

fcntl函数，正如其名字（file control）描述的那样，提供了对文件描述符的各种控制，另一个常见的控制文件描述符属性和行为的系统调用是ioctl，且ioctl函数比fcntl函数能执行更多的控制，但控制文件描述符的常用属性和操作，fcntl函数是由 POSIX 规范指定的首选方法：

#include <fcntl.h>

//失败返回-1并设置errno
int fcntl(int fd, int cmd, ...);

参数：

  • fd：被操作的文件描述符
  • cmd：指定执行何种类型的操作
  • 由于操作类型的不同，可能需要第三个可选参数 arg

fcntl支持的常用操作：

在网络编程中，fcntl 函数常用于把文件描述符设置为非阻塞的：

int setnonblocking(int fd) {
    
	// 获取文件描述符状态标志
	int old_option = fcntl(fd, F_GETFL);
    
	// 设置非阻塞标志
	int new_option = old_option | O_NONBLOCK;
	fcntl(fd, F_SETFL, new_option);

    // 返回fd旧的状态标志，以便日后恢复该状态标志
	return old_option;
}
红茶川
关注
专栏目录
C++ TinyWebServer项目总结（9. I/O 复用）
Teriri_的博客
08-23 1199
I/O 复用使得程序能够同时监听多个文件描述符，从而提高程序的性能。I/O 复用本身是阻塞的。Linux 下实现 I/O 复用的系统调用主要有selectpoll和epoll。
C++ TinyWebServer项目总结（12. 高性能I/O框架库Libevent）
Teriri_的博客
08-27 1024
I/O框架库以库函数的形式，封装了较为底层的系统调用，给应用程序提供了一组更便于使用的接口。各种I/O框架库的实现基本原理相似，要么以Reactor模式实现，要么以Proactor模式实现，要么同时以这两种模式实现。例如，基于Reactor模式的I/O框架库包含以下组件：句柄（Handle）、事件多路分发器（EventDemultiplexer）、事件处理器（EventHandler）、具体的事件处理器（ConcreteEventHandler）、Reactor。
C++ TinyWebServer项目总结（11. 定时器）
Teriri_的博客
08-27 797
网络程序需要处理定时事件，如定期检测一个客户连接的活动状态。服务器程序通常管理着众多定时事件，有效地组织这些定时事件，使其在预期的时间被触发且不影响服务器的主要逻辑，对于服务器的性能有至关重要的影响。为此，我们要将每个定时事件分别封装成定时器，并使用某种容器类数据结构，如链表、排序链表、时间轮，将所有定时器串联起来，以实现对定时事件的统一管理。本章主要讨论两种高效的管理定时器的容器：时间轮和时间堆。
C++ TinyWebServer项目总结（13. 多进程编程）
Teriri_的博客
08-28 1193
本章讨论Linux多进程编程的以下内容： 复制进程映像的fork系统调用和替换进程映像的exec系列系统调用。 僵尸进程以及如何避免僵尸进程。 进程间通信（Inter Process Communication，IPC）最简单的方式：管道。 三种System V进程间通信方式：信号量、消息队列、共享内存。它们是由AT&T System V2版本的UNIX引入的，所以统称为System V IPC。 在进程间传递文件描述符的通用方法：通过UNIX本地域socket传递特殊的辅助数据。（关于辅助数据
C++ TinyWebServer项目总结（7. Linux服务器程序规范）
Teriri_的博客
08-20 1084
UID：标识用户身份，决定用户本身的所有权限。EUID：用于实际判断用户的权限，可能与 UID 不同。GID：标识用户所属的组，决定用户组的权限。EGID：用于实际判断用户的组权限，可能与 GID 不同。在权限管理中，UID 和 GID 决定了用户和组的基本身份和权限，而 EUID 和 EGID 决定了用户在特定情境下（如执行带有setuid或setgid标志的程序时）所拥有的实际权限。这些标识符是 UNIX 权限模型的重要组成部分，用于确保系统资源的安全访问和管理。
C++ TinyWebServer项目总结（14. 多线程编程）
Teriri_的博客
08-28 881
进程：进程是操作系统进行资源分配和调度的基本单位，是程序的一次执行过程。它是系统进行资源分配和调度的一个独立单位。每个进程都有自己的地址空间、内存、数据栈以及其他用于跟踪执行的辅助数据。线程：线程是进程中的实际运行单位，是进程中的一个单一顺序控制流，也被称为轻量级进程（LWP）。一个进程可以包含多个线程，所有线程共享进程的资源，如内存和文件描述符。线程是程序中完成一个独立任务的完整执行序列，即一个可调度的实体。根据运行环境和调度者的身份，线程可分为内核线程和用户线程。
C++ TinyWebServer项目总结（10. 信号）
Teriri_的博客
08-24 1074
信号是由用户、系统、进程发送给目标进程的信息，以通知目标进程某个状态的改变或系统异常。Linux信号可由以下条件产生： 对于前台进程，用户可通过输入特殊终端字符来给它发送信号，如输入Ctrl+C通常会给进程发送一个中断信号。 系统异常。如浮点异常或非法内存段访问。 系统状态变化。如alarm定时器到期将引起SIGALRM信号。 运行kill命令或调用kill函数。 服务器程序必须处理（或至少忽略）一些常见信号，以免异常终止。
C++ TinyWebServer项目总结（5. Linux网络编程基础API）
Teriri_的博客
08-16 1013
还是给我的语雀文档打个广告：我的文章都是先在语雀里记录的，然后再同步发送到CSDN上，有些格式问题实在是懒得改了，可能会导致大家看的不舒服，建议有需要的大家可以看看我的原文：语雀。
C++ TinyWebServer项目总结（8. 高性能服务器程序框架）
Teriri_的博客
08-21 1349
一书中，把这一章节作为全书的核心，同时作为后续章节的总览。这也意味着我们在经历了前置知识的学习后，正式进入了 Web 服务器项目的核心部分！TCP 三次握手、四次挥手，流量控制、拥塞控制等。socket 的创建、绑定、监听、连接等。文件描述符、管道、readvwritev函数等。进程 PID，用户 UID，组 GID，会话 ID 等。
TinyWebServer：Linux下C ++轻量级Web服务器
01-30
TinyWebServer是一款基于C++...总结来说，TinyWebServer是一个适合学习和实践的C++ Web服务器项目，它涵盖了许多关键的系统编程和技术，对于想要深入理解Web服务器工作原理和C++编程的开发者来说，是一个宝贵的资源。
【C++项目】Tiny Linux WebServer---webserver架构分析与介绍
haojz
03-30 2295
文章目录前言事务处理模式 Reactor 、 ProactorReactor模式Proactor同步I/O模拟Proactor模式基本架构模块介绍总结 前言 在进行linux网络编程之前，我们需要来了解整个项目的流程。 事务处理模式 Reactor 、 Proactor 在webserver服务器中，针对常见的三类事务：I/O事务、信号定时事件、逻辑事务。对于事务的处理模式，有两种高效的方式： Reactor和Proactor模式。其中同步I/O通常用于实现Reactor模式，异步I/O模型通常用于实现P
C/C++学习路线总结与分享
热门推荐
dvlinker的技术专栏
10-07 9万+
C/C++学习路线总结与分享
Web服务器---TinyWebServer代码详细讲解（main与WebServer）
qq_38872537的博客
01-26 1万+
编写一个Web服务器---代码模块详细讲解（上）config 独立参数模块ET与LT模式config.h代码解读config.cpp代码解读main 模块 这里的参照的代码是https://github.com/qinguoyi/TinyWebServer 对于原代码的不足之处，我会在之后的文章中给出改进代码 在笔者fork的这版中，原代码作者对于代码作出了更细化的分类 细节问题可以参考《APUE》《Linux高性能服务器编程》或者我之前的博客 阅读任何源码一定要先从readme入手，如果没有rea
TinyWebServer阅读（一）
EquinoxM的博客
03-24 4116
有错误麻烦大佬指出！！！拜托了！！！！ 主线程epoll监听socket： //创建套接字，返回listenfd int listenfd = socket(PF_INET, SOCK_STREAM, 0); assert(listenfd >= 0); int ret = 0; struct sockaddr_in address; bzero(&address, sizeof(address)); address.sin_family = AF_INET; address.sin_
【Linux】Linux之多线程1
m0_73839343的博客
10-24 758
在一个程序里的一个执行路线叫做线程（thread），更准确的定义是：线程是一个进程内部的控制序列。一切进程至少都有一个执行线程。线程在进程内部运行，本质是在进程地址空间内运行。在Linux系统中，在CPU眼中，看到的PCB都要比传统的进程更加轻量化。透过进程虚拟地址空间，可以看到进程的大部分资源，将进程资源合理分配给每个执行流，就形成了线程执行流。
Linux的调度算法
sswithyou的博客
10-24 931
这个是我们Linux系统的runqueue，听名字就知道，这个就是调度运行中的程序的，也就是管理进程的一个队列，我们看到红圈里，有个queue[140],这个queue一共有140 个元素，前一百个是其他种类进程应用的，这些进程优先级大于我们要运行的程序，他们会保护电脑的安危，前一百个我们现在不用管，以后学习到了再说，后四十个，四十这个正好和nice的那[-20,19]的取值范围正好对应，就是保存了四十个PCB--task_struct ,都是对进程的描述，也就是每个进程的结构体。这样做的意义是什么？
【ShuQiHere】Linux 桌面环境：选择与定制指南 ️✨
最新发布
ShuQIHere的博客
10-26 926
Linux 桌面环境（Desktop Environment，简称 DE）是用户与操作系统交互的图形界面。它不仅决定了系统的外观和感觉，还影响着用户的工作效率和使用体验。无论你是新手还是资深用户，选择和定制适合自己的桌面环境都是提升 Linux 使用体验的重要一步。本文将带你全面了解 Linux 桌面环境的基本概念、常见类型、选择技巧以及定制方法。🚀
如何在Linux中找到MySQL的安装目录
wenxuankeji的博客
10-22 448
发布时间：2024-10-22在日常管理和维护数据库的过程中，了解MySQL的确切安装位置对于执行配置更改、更新或者进行故障排查是非常重要的。本文将向您介绍几种在Linux环境下定位MySQL安装路径的方法。
在linux上安装r-base和rpy2到conda环境
qq_41997888的博客
10-23 279
2.r-base，rpy2，numpy版本直接的不兼容可能导致额外的错误。安装r-base(国外，可能需要很久>5min，或者需要多次尝试)1.安装R包失败--安装“xxx”时退出状态的值不是0。在命令行输入R进入R语言环境，安装其他R包。解决方案：安装更新版本的r-base。在r-base下安装R包。
Boost.Asio中文翻译：跨平台C++网络I/O库
Boost.Asio是C++开发者进行网络和低级I/O编程的重要工具，其核心特性在于提供了一个跨平台的异步编程模型。这个模型允许开发者以现代C++的方式编写高效且易于维护的代码，尤其适用于处理并发的网络连接和I/O操作。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

红茶川

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值