webserver使用webbench工具连续压测失败

参考资料：一次压力测试Bug排查-epoll使用避坑指南 - 两猿社 - 博客园 (cnblogs.com)

Bug复现

使用Webbench对服务器进行压力测试，创建1000个客户端，并发访问服务器10s。

结果显示仅有少数几个请求被成功处理，0个请求处理失败，性能很差，服务器也没有返回错误。此时，从浏览器端访问服务器，发现该请求也不能被处理和响应，必须将服务器重启后，浏览器端才能访问正常。

原因

当代码执行完listen()函数后，但未执行accept()函数前，Linux内核会为任何一个监听套接口维护两个队列，每个队列都是存储文件描述符fd：

• 未完成连接的队列：该队列的文件描述符，正在等待TCP三次握手完成，还处在 SYN_RCVD 状态
• 已完成连接的队列：该队列的文件描述符，已经完成TCP三次握手，处在 ESTABLISHED 状态

当代码执行accept()函数时，正常情况下，内核从处于 ESTABLISHED 状态的已完成连接队列的头部，取出一个文件描述符进行处理。

但是也会出现异常情况，比如：

• 如果这个已完成连接的队列为空，accept函数就会阻塞，直到队列中有新的文件描述符加入。
• 如果，服务器不能及时调用 accept取走队列中已完成的连接，当已完成连接队列满掉后，未完成连接的队列中剩下的连接都得不到处理，同时会禁止新的连接。

从上面的分析中可以看出，accept如果没有将已完成连接队列中的连接取完，未完成连接队列中剩下的连接都得不到处理，也不能接收新请求，这个特性与压力测试的Bug十分类似。

由于我的代码中使用的是epoll+ET模式，当epoll_wait检测到epoll文件描述符有事件发生，只会通知一次，随后内核就不会发送通知了，如果一直不对这个fd操作，内核就不会发送更多的通知

因此应用程序必须立即处理该事件，而且必须要一次性将数据读取完

而在错误的代码中，我使用的是

    if(sockfd == listenfd)
    {
        struct sockaddr_in client_address;
        socklen_t client_addresslen = sizeof(client_address);
        int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen);
        ......
    }

如果我们使用压测工具测试时，会建立多个客户端连接，epoll_wait()函数会返回 1，表示有一个fd需要处理（实际上就是listenfd）

同时，已完成队列会在这一瞬间爆满，当执行int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen)，只会取出一个已完成的连接（剩下还有很多个没取），但内核却不会发送通知处理 listenfd（因为内核认为你已经处理完了listenfd），到下一次的epoll_wait()时，已完成队列爆满，不再接收新的连接，listenfd没有新的通知消息，状态不变，会卡在epoll_wait()处

因此，在此之后，由于已完成连接队列爆满而得不到处理，再从浏览器端访问服务器，会发现无法连接

---

综上所述，我们需要一次性读完已完成连接队列中的连接

解决方法

修改前

for(int i = 0; i < number; i++)
{
    int sockfd = events[i].data.fd;
    // 有新的客户端连接
    if(sockfd == listenfd)
    {
        struct sockaddr_in client_address;
        socklen_t client_addresslen = sizeof(client_address);
        int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen);
        if(connfd < 0)
        {
            // printf("errno is %d\n", errno);
            LOG_ERROR("%s:errno is:%d", "accept error", errno);
            continue;
        }
        ......
    }
    ......
}

修改后

for(int i = 0; i < number; i++)
{
    int sockfd = events[i].data.fd;
    struct sockaddr_in client_address;
    socklen_t client_addresslen = sizeof(client_address);
    int connfd;
    // 有新的客户端连接
    if(sockfd == listenfd)
    {
        while ((connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen)) > 0)
        {
            if(connfd < 0)
            {
                // printf("errno is %d\n", errno);
                continue;
            }
            ......
        }
        ......
    }
    ......
}