【I/O复用】epoll系统调用（2）

参考《Linux高性能服务器编程》

EPOLLONESHOT事件

在【I/O复用】epoll系统调用（1）中使用了EPOLLET模式，这种模式可以让应用程序高效地处理客户端数据。ET模式的思想是：当前就绪的事件，需要立即处理，下一次不再通告这个事件。

但是ET模式存在问题，一个socket上的事件可能被触发多次。为什么会触发多次呢，明明我们写的代码中，循环读取了所有的客户端数据，不存在触发多次的情况啊？因为我们的代码没有创建线程或者进程来处理数据，一次只能为一个客户端socket提供服务。

如果一个线程或进程在读取完某个 socket 上的数据后开始处理这些数据，而在数据的处理过程中该 socket 上又有新数据可读(EPOLLIN再次被触发)，此时另外一个线程被创建来读取这些新的数据。于是就出现了两个线程同时操作一个socket 的局面。

我们希望一个 socket 连接在任一时刻都只被一个线程处理。这一点可以使用epoll 的EPOLLONESHOT 事件实现。

对于注册了 EPOLLONESHOT 事件的文件描述符，操作系统最多触发其上注册的一个可读、可写或者异常事件，且只触发一次，除非我们使用 epoll_ctl 函数重置该文件描述符上注册的 EPOLLONESHOT 事件。这样，当一个线程在处理某个 socket 时，其他线程是不可能有机会操作该 socket 的。但反过来思考，注册了 EPOLLONESHOT事件的 socket一旦被某个线程处理完毕，该线程就应该立即重置这个 socket 上的 EPOLLONESHOT 事件，以确保这个socket 下一次可读时，其 EPOLLIN 事件能被触发，进而让其他工作线程有机会继续处理这个 socket。

代码测试

#include <sys/socket.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <pthread.h>

#define MAX_EVENT_NUMBER 1024
#define BUFFER_SIZE 1024
struct fds
{
    int epollfd;
    int sockfd;
};

int setnonblocking(int fd)
{
    int old_option = fcntl(fd, F_GETFL);
    int new_option = old_option | O_NONBLOCK;
    fcntl(fd, F_SETFL, new_option);
    return old_option;
}

/*注册EPOLLIN和EPOLLET事件，选择注册ONESHOT事件*/
void addfd(int epollfd, int fd, bool oneshot)
{
    epoll_event event;
    event.data.fd = fd;
    event.events = EPOLLIN | EPOLLET;
    if (oneshot)
    {
        event.events |= EPOLLONESHOT;
    }
    epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event);
    setnonblocking(fd);
}

/*重置fd上的事件，这样操作之后，尽管fd上的EPOLLONESHOT事件被注册，但是操作系统仍然会触发fd上的EPOLLIN事件，并且只会触发一次*/
void reset_oneshot(int epollfd, int fd)
{
    epoll_event event;
    event.data.fd = fd;
    event.events = EPOLLIN | EPOLLET | EPOLLONESHOT;
    epoll_ctl(epollfd, EPOLL_CTL_MOD, fd, &event);
}

void* worker(void* arg)
{
    int sockfd = ((fds*)arg)->sockfd;
    int epollfd = ((fds*)arg)->epollfd;
    printf("start new thread to receive data on fd: %d\n", sockfd);
    char buf[BUFFER_SIZE];
    memset(buf, '\0', BUFFER_SIZE);

    /*循环读取数据*/
    while (1)
    {
        int ret = recv(sockfd, buf, BUFFER_SIZE - 1, 0);
        if (ret == 0)
        {
            close(sockfd);
            printf("foreiner closed the connection\n");
            break;
        }
        else if (ret < 0)
        {
            if (errno == EAGAIN)
            {
                reset_oneshot(epollfd, sockfd);
                printf("read later\n");
                break;
            }
        }
        else
        {
            printf("get content: %s\n", buf);
            /*休眠5秒，模拟线程处理过程*/
            sleep(5);
        }
    }
    printf("end thread receiving data on fd: %d\n", sockfd);
}

int main(int argc, char* argv[])
{
    const char* ip = "192.168.91.128";
    int port = 55555;

    int ret = 0;
    struct sockaddr_in address;
    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_addr);
    address.sin_port = htons(port);

    int listenfd = socket(PF_INET, SOCK_STREAM, 0);
    assert(listenfd >= 0);

    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));
    assert(ret != -1);

    ret = listen(listenfd, 5);
    assert(ret != -1);

    epoll_event events[MAX_EVENT_NUMBER];
    int epollfd = epoll_create(5);
    assert(epollfd != -1);

    // 监听socket设置ET，非阻塞，但是没有设置ONESHOT
    addfd(epollfd, listenfd, false);

    while (1)
    {
        // 一直阻塞
        int ret = epoll_wait(epollfd, events, MAX_EVENT_NUMBER, -1);
        if (ret < 0)
        {
            printf("epoll failure\n");
            break;
        }

        for (int i = 0; i < ret; i++)
        {
            int sockfd = events[i].data.fd;
            if (sockfd == listenfd)
            {
                struct sockaddr_in client_address;
                socklen_t client_addrlength = sizeof(client_address);
                int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrlength);
                // 通信socket设置ET，非阻塞，ONESHOT
                addfd(epollfd, connfd, true);
            }
            else if (events[i].events & EPOLLIN)
            {
                pthread_t thread;
                fds fds_for_new_worker;
                fds_for_new_worker.epollfd = epollfd;
                fds_for_new_worker.sockfd = sockfd;
                pthread_create(&thread, NULL, worker, (void*)&fds_for_new_worker);
            }
            else
            {
                printf("something else happened \n");
            }
        }
    }

    close(listenfd);
    return 0;
}

实验一

运行服务器代码，使用telnet连接服务器，发送数据，并且等待5秒（模拟线程处理数据的耗时）。

服务端输出：

start new thread to receive data on fd: 5
get content: aaaaa
read later
end thread receiving data on fd: 5

可以看到创建了一个线程来处理这个数据，等待5秒之后继续循环读取数据（因为设置了EPOLLET模式），由于客户端没有发送数据，判断errno == EAGAIN逻辑，线程返回结束。

实验二

运行服务器代码，使用telnet连接服务器，发送数据，等待时间少于5秒，再发送数据。

服务端输出：

start new thread to receive data on fd: 5
get content: aaaaa
get content: bbbbb
read later
end thread receiving data on fd: 5

可以看到当前线程接受完第一批数据，休眠5秒，然后继续接收第二批数据，休眠5秒，然后判断缓存为空，退出返回。

由于我们设置了EPOLLET模式，因此每次到来数据，epoll_wait函数都会通告一次就绪事件。并且数据处理逻辑是在子线程中执行，主线程不会被阻塞，按理来说在第二批数据到来时，主线程的epoll_wait函数会返回，并且继续创建新的线程处理这批数据。

但是设置了EPOLLONESHOT，因此阻止了多个线程同时对一个socket进行处理。

实验三

那我们把EPOLLONESHOT设置取消之后是什么情况呢？使用telnet连接服务器，发送数据，等待时间少于5秒，再发送数据（与实验二步骤一样）。

服务端输出：

start new thread to receive data on fd: 5
get content: aaaaa
start new thread to receive data on fd: 5
get content: bbbbb
read later
end thread receiving data on fd: 5
read later
end thread receiving data on fd: 5

可以看到，如果没有设置EPOLLONESHOT，那么在多线程处理socket数据时，就会创建多个子线程对同一个socket处理。这样会导致的问题包括（来自ChatGpt）：

1. 数据混乱：当多个线程同时从同一个socket读取数据时，可能会导致数据的顺序被打乱，从而使得接收方无法正确地解析数据。这可能会导致通信中断或数据损坏等问题。
2. 线程竞争：当多个线程同时访问同一个socket时，可能会导致线程之间的竞争。这可能会导致通信中断或数据损坏等问题。
3. 通信效率降低：当多个线程同时访问同一个socket时，可能会导致通信效率降低，因为线程之间需要等待其他线程完成数据处理才能继续处理自己的数据。

实验四

使用EPOLLONESHOT可以避免多个子线程同时处理一个通信socket，但是存在一个易错点。那就是注册了 EPOLLONESHOT事件的 socket一旦被某个线程处理完毕，该线程就应该立即重置这个 socket 上的 EPOLLONESHOT 事件。

如果不进行重置会发生什么情况？我们先注释掉重置代码：

if (errno == EAGAIN)
{
    // reset_oneshot(epollfd, sockfd);
    printf("read later\n");
    break;
}

然后使用telnet先发送一批数据，等待5秒线程退出之后，再发送一批数据。

服务器输出：

start new thread to receive data on fd: 5
get content: aaaaa
read later
end thread receiving data on fd: 5

欸？我的“bbbbb”哪去了？来一个线程给处理一下，救一下啊！可惜，现在已经晚了，我们没有为通信socket的事件重新设置EPOLLONESHOT，epoll_wait不会再处理这个socket的就绪事件了。

现在你就知道线程退出之前重新设置EPOLLONESHOT事件的重要性了。