参考资料:一次压力测试Bug排查-epoll使用避坑指南 - 两猿社 - 博客园 (cnblogs.com)
Bug复现
使用Webbench对服务器进行压力测试,创建1000个客户端,并发访问服务器10s。
结果显示仅有少数几个请求被成功处理,0个请求处理失败,性能很差,服务器也没有返回错误。此时,从浏览器端访问服务器,发现该请求也不能被处理和响应,必须将服务器重启后,浏览器端才能访问正常。
原因
当代码执行完listen()
函数后,但未执行accept()
函数前,Linux内核会为任何一个监听套接口维护两个队列,每个队列都是存储文件描述符fd:
- 未完成连接的队列:该队列的文件描述符,正在等待TCP三次握手完成,还处在 SYN_RCVD 状态
- 已完成连接的队列:该队列的文件描述符,已经完成TCP三次握手,处在 ESTABLISHED 状态
当代码执行accept()
函数时,正常情况下,内核从处于 ESTABLISHED 状态的已完成连接队列的头部,取出一个文件描述符进行处理。
但是也会出现异常情况,比如:
- 如果这个已完成连接的队列为空,accept函数就会阻塞,直到队列中有新的文件描述符加入。
- 如果,服务器不能及时调用 accept取走队列中已完成的连接,当已完成连接队列满掉后,未完成连接的队列中剩下的连接都得不到处理,同时会禁止新的连接。
从上面的分析中可以看出,accept如果没有将已完成连接队列中的连接取完,未完成连接队列中剩下的连接都得不到处理,也不能接收新请求,这个特性与压力测试的Bug十分类似。
由于我的代码中使用的是epoll+ET模式,当epoll_wait检测到epoll文件描述符有事件发生,只会通知一次,随后内核就不会发送通知了,如果一直不对这个fd操作,内核就不会发送更多的通知
因此应用程序必须立即处理该事件,而且必须要一次性将数据读取完
而在错误的代码中,我使用的是
if(sockfd == listenfd)
{
struct sockaddr_in client_address;
socklen_t client_addresslen = sizeof(client_address);
int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen);
......
}
如果我们使用压测工具测试时,会建立多个客户端连接,epoll_wait()函数会返回 1,表示有一个fd需要处理(实际上就是listenfd)
同时,已完成队列会在这一瞬间爆满,当执行int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen)
,只会取出一个已完成的连接(剩下还有很多个没取),但内核却不会发送通知处理 listenfd(因为内核认为你已经处理完了listenfd),到下一次的epoll_wait()
时,已完成队列爆满,不再接收新的连接,listenfd没有新的通知消息,状态不变,会卡在epoll_wait()
处
因此,在此之后,由于已完成连接队列爆满而得不到处理,再从浏览器端访问服务器,会发现无法连接
综上所述,我们需要一次性读完已完成连接队列中的连接
解决方法
修改前
for(int i = 0; i < number; i++)
{
int sockfd = events[i].data.fd;
// 有新的客户端连接
if(sockfd == listenfd)
{
struct sockaddr_in client_address;
socklen_t client_addresslen = sizeof(client_address);
int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen);
if(connfd < 0)
{
// printf("errno is %d\n", errno);
LOG_ERROR("%s:errno is:%d", "accept error", errno);
continue;
}
......
}
......
}
修改后
for(int i = 0; i < number; i++)
{
int sockfd = events[i].data.fd;
struct sockaddr_in client_address;
socklen_t client_addresslen = sizeof(client_address);
int connfd;
// 有新的客户端连接
if(sockfd == listenfd)
{
while ((connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addresslen)) > 0)
{
if(connfd < 0)
{
// printf("errno is %d\n", errno);
continue;
}
......
}
......
}
......
}