Linux高性能服务器笔记--5

最新推荐文章于 2024-07-17 20:41:49 发布

mgpdian

最新推荐文章于 2024-07-17 20:41:49 发布

阅读量150

点赞数

文章标签： linux 服务器网络

本文链接：https://blog.csdn.net/mgpdian/article/details/123291129

版权

第九章 I/O复用

I/O multiplexing 正确名字是I/O 多路复用

I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态(对应空管塔里面的Fight progress strip槽)来同时管理多个I/O流. 发明它的原因，是尽量多的提高服务器的吞吐能力。

需要使用I/O复用技术的情况：

客户端程序要处理多个socket；
客户端程序要同时处理用户输入和网络连接；
TCP服务器要同时处理监听socket和连接socket；
服务器要同时处理TCP请求和UDP请求；
服务器要同时监听多个端口或处理多种服务。

注：在Linux中，值为0、1、2的fd分别代表标准输入、标准输出和标准错误输出。在程序中打开文件得到的fd从3开始增长。在内核中，每一个进程都有一个私有的“打开文件表”，这个表是一个指针数组，每一个元素都指向一个内核的打开文件对象。而fd，就是这个表的下标。当用户打开一个文件时，内核会在内部生成一个打开文件对象，并在这个表里找到一个空项，让这一项指向生成的打开文件对象，并返回这一项的下标作为fd。由于这个表处于内核，并且用户无法访问到，因此用户即使拥有fd，也无法得到打开文件对象的地址，只能够通过系统提供的函数来操作。

1 select

#include <sys/select.h>

// nfds指定被坚挺的文件描述符的总数，通常设置为select监听的所有文件描述符中最大值加一
// readfds、writefds、exceptfds分别指向可读、可写和异常等事件对应的文件描述符集合
// timeout用来设置select的超时时间，通过采用指针参数是因为内核将修改它以告诉程序select等待了多久，调用失败时候timeout值是不确定的
int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set* exceptfds, struct timeval* timeout);
// 陈公公是返回就绪文件描述符的总数。超时返回0， 失败返回-1并设置errno

// fd_set结构体定义
// 仅包含一个整型数组，该数组的每个元素的每一位标记一个文件描述符
#include <typesizes.h>
#define __FD_SETSIZE 1024

#include <sys/select.h>
#define FD_SETSIZE __FD_SETSIZE
typedef long int __fd_mask;
#undef __NFDBITS
#define __NFDBITS (8*(int)sizeof(__fd_mase))

typedef struct{
#ifdef __USE_XOPEN
    __fd_mask fds_bits[__FD_SETSIZE/__NFDBITS];
#define __FDS_BITS(set) ((set)->fds_bits)
#else
    __fd_mask __fds_bits[__FD_SETSIZE/__NFDBITS];
#define __FBS_BITS(set)((set)->__fds_bits)
#endif
} fd_set;

// 使用宏访问fd_set结构体中的位
#include <sys/select.h>
FD_ZERO(fd_set *fdset);                 // 清除fdset所有位
FD_SET(int fd, fd_set *fdset);          // 设置fdset的位fd
FD_CLR(int fd, fd_set *fdset);          // 清除fdset的位fd
int FD_ISSET(int fd, fd_set *fdset);    // 测试fdset的位fd是否被设置

// timeval结构体定义：
struct timeval{
    long tv_sec;        // 秒数
    long tv_usec;       // 微妙数
};

1.1 文件描述符就绪条件

下列情况下socket可读：

socket内核接受缓存区中的字节数大小或等于其低水位标记SO_RCVLOWAT。此时可以无阻塞的读取该socket，并且读操作返回的字节数大于0；
socket通信的对方关闭连接，此时对该socket的读操作返回0；
监听socket上有新的连接请求；
socket上有未处理的错误，此时可通过getsockopt读取和清除该错误；

下列情况下socket可写：

socket内核发送缓存区中的可用字节数大于或等于其低水位标记SO_SNDLOWAT。此时可以无阻塞的写socket，且写操作返回的字节数大于0；
socket的写操作被关闭，对写操作关闭的socket执行写操作将触发一个SIGPIPE信号；
socket使用非阻塞connect连接成功或失败之后；
socket上有未处理的错误，此时可通过getsockopt读取和清除该错误；

socket能处理的异常只有一种：socket上接收到带外数据。

1.2 处理外带数据

/*************************************************************************
  练练select  
  > File Name: select.cpp
    > Author: mgpdian
    > Mail: 1780484247@qq.com 
    > Created Time: 2022年03月04日 星期五 17时03分14秒
 ************************************************************************/

//实例：同时接收普通数据和带外数据
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>

int main(int argc, char*argv[]){
    if(argc<=2){
        printf("usage: %s ip_address port_number \n", basename(argv[0]));
        return 1;
    }
    const char* ip = argv[1];
    int port = atoi(argv[2]);

    int ret = 0;
    struct sockaddr_in address;
    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_addr);
    address.sin_port = htons(port);

    int listenfd = socket(PF_INET, SOCK_STREAM, 0);
    assert(listenfd>0);
    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));
    assert(ret!=-1);
    ret = listen(listenfd, 5);
    assert(ret!=-1);

    struct sockaddr_in client_address;
    socklen_t client_addrlength = sizeof(client_address);
    int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrlength);
    if(connfd<0){
        printf("errno is: %d\n", errno);
    
    }
    char buf[1024];
    fd_set read_fds;
    fd_set exception_fds;
    FD_ZERO(&read_fds);
    FD_ZERO(&exception_fds);

    while(1)
    {
        memset(buf, '\0', sizeof(buf));
         // 每次调用select前都要重新再read_fds和exception_fds中设置文件描述符从南方的，因为事件发生后，文件描述符集合将被内核修改
        FD_SET(connfd, &read_fds);
        FD_SET(connfd, &exception_fds);
        ret = select(connfd + 1, &read_fds, NULL, &exception_fds, NULL);
        if(ret<0){
            printf("selection failure\n");
            break;
        }
        // 对于可读事件，采用普通的recv函数读取数据
        if(FD_ISSET(connfd, &read_fds)){

            ret = recv(connfd, buf, sizeof(buf) - 1, 0);
            if(ret <= 0)
            {
                break;
            }
            printf("get %d bytes of normal data: %s\n", ret, buf);
        }
         // 对于异常事件，采用带MSG_OOB标志的recv函数读取
        else if(FD_ISSET(connfd, &exception_fds))
        {
            ret = recv(connfd, buf, sizeof(buf)-1, MSG_OOB);
            if(ret<=0){
                break;
            }
            printf("get %d bytes of oob data: %s\n", ret, buf);
        }

    }
    close(connfd);
    close(listenfd);
    return 0;
}

2.poll系统调用

poll是在指定时间内轮询一定数量的文件描述符，以测试其中是否有就绪者。

#include <poll.h>

// fds参数是一个pollfd结构类型的数组，指定所有我们感兴趣的文件描述符上发生的可读、可写和异常等事件。
// nfds指定被监听事件集合fds的大小，定义为：typedef unsigned long int nfds_t;
// timeout指定poll超时值，单位是毫秒。timeout=-1时，poll调用永远阻塞；timeout=0是poll调用立即返回
int poll(struct pollfd* fds, nfds_t nfds, int timeout);

// pollfd结构体定义：
struct pollfd{
    int fd;             // 文件描述符
    short events;       // 注册的事件
    short revents;      // 实际发生的时间，由内核填充
};
/*
其中，fd成员指定文件描述符;events成员告诉poll监听fd上的哪些事件，它是一系列事件的按位或;revents成员则由内核修改，以通知应用程序fd上实际发生了哪些事件。poll支持的事件类型如表9-1所示。

*/

3.epoll

epoll是Linux特有的I/O复用函数。其使用一组函数来完成任务，将用户关心的文件描述符上的事件放在内核里的一个时间表中，无需像select和poll每次调用都要重复传入文件描述符集或事件集。epoll需要使用一个额外的文件描述符，来比唯一标识内核中的事件表。

#include <sys/epoll.h>

// 创建文件描述符
// size只是提示事件表大小
int epoll_create(int size);
// 该函数返回将用作其他所有epoll系统调用的第一个参数，以指定要访问的内核事件表

// 操作epoll的内核事件表
// fd：要操作的文件描述符
// op：指定操作类型：EPOLL_CTL_ADD(往事件表注册fd上的事件)；EPOLL_CTL_MOD(修改fd上的注册事件)；EPOLL_CTL_DEL(删除fd上的事件)
// event：指定事件，是epoll_event结构指针类型
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
// 调用成功时候返回0，失败返回-1并设置errno

// epoll_event结构定义
struct epoll_event{
    __uint32_t events;      // epoll事件
    epoll_data_t data;      // 用户数据
};
// epoll_data_t是一个联合体，fd指定事件从属的目标描述符；ptr指定fd相关用户数据。
typedef union epoll_data{
    void* ptr;
    int fd;
    uint32_t u32;
    uint64_t u64;
} epoll_data_t;

3.1epoll_wait函数

epoll_wait是在一段超时时间内等待一组文件描述符上的事件。

#include <sys/epoll.h>

// maxevents指定最多监听多少个事件
// timeout定义超时时间
int epoll_wait(int epfd, struct epoll_event* events, int maxevents, int timeout);
// 成功时返回就绪的文件描述符的个数，失败时返回-1，并设置errno；
// epoll_wait函数如果检测到时间，就将所有就绪的事件从内核事件表中复制到它的第二个参数events指向的数组中，该数组只用于输出epoll_wait检测到的就绪事件。
// select和poll即传入用户注册的事件，又输出内核检测到的就绪事件

实例：poll和epoll在使用上的差别

// 如何索引poll返回的就绪文件描述符
int ret = poll(fds, MAX_EVENT_NUMBER, -1);
// 必须遍历所有已注册文件描述符，并找到其中的就绪者
for(int i=0;i<MAX_EVENT_NUMBER;i++){
    if(fds[i].revents & POLLIN){     // 判断第i个文件是否就绪
        int sockfd = fds[i].fd;
        // 处理sockfd
    }
}

// 如何索引epoll返回的就绪文件描述符
int ret = epoll_wait(epollfd, events, MAX_EVENT_NUMBER, -1);
// 遍历就绪的ret文件描述符
for(int i=0;i<ret;i++){
    int sockfd = events[i].data.fd;
    // 处理sockfd
}

3.2 LT和ET模式

epoll对文件描述符的操作有两种：LT(电平触发模式)和ET(边缘触发模式)。其中默认位LT，其相当于效率较高的poll。当往epoll内河事件表注册一个文件描述符上的EPOLLET事件时，epoll将以ET模式来操作该文件描述符。ET模式是epoll的高效工作模式。采用LT工作模式的文件描述符，当epoll_wait检测到其上有事件发生并将此通知给应用程序后，应用程序可以不立即处理该事件。当应用程序下次调用epoll_wait时，epoll_wait还会再次想用应用程序告知此事件，直到该事件被处理。采用ET工作模式的文件描述符，当epoll_wait检测到其上有时间通知应用程序后，应用程序必须立即处理该事件，后续epoll_wait将不再向应用程序通知这一事件。因此ET模式降低了同一个epoll事件被重复出发的次数，效率比LT模式高。

实例：LT和ET模式

/*************************************************************************
    尝试epoll的ltet
  > File Name: ltet.cpp
    > Author: mg

最低0.47元/天解锁文章

mgpdian

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Linux高性能服务器笔记--5

第九章 I/O复用I/O multiplexing 正确名字是I/O 多路复用I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态(对应空管塔里面的Fight progress strip槽)来同时管理多个I/O流. 发明它的原因，是尽量多的提高服务器的吞吐能力。需要使用I/O复用技术的情况：客户端程序要处理多个socket；客户端程序要同时处理用户输入和网络连接； TCP服务器要..
复制链接

扫一扫