什么是惊群
简单说,惊群是因为多进程(多线程)在同时阻塞等待同一个事件的时候(休眠状态),当时间发生时,就会唤醒所有等待的(休眠的)进程(线程)。但是事件只能被一个进程或线程处理,而其他进程(线程)获取失败,只能重新进入休眠状态,这种现象和性能浪费就叫做惊群。
产生惊群的条件
- 多个进程或者多个线程
- 同时等待处理一个事件
具体场景复现
测试环境 :
- debian11
- 内核5.10.0-8
- 编译器 clang11
多线程和多进程在惊群问题上差不多,为了少些一点,下文中没有特殊说明,多线程 也包含了多进程
在linux中,使用C/C++ 编写 tcp server时,会依次调用 socket() bind() listen() accept() 这几个函数,这几个函数会打开socket,绑定ip和端口,开始监听端口,accept函数会阻塞当前进程,等待客户端连接。
如果在单线程中,只有一个accept函数在等待客户端连接,当客户端来连接的时候,只会有一个accept函数来处理,所以也不会存在惊群问题了。
在多线模型中,多个线程分别accept同一个socket,当有客户端连接时,内核会通知所有的线程来处理这个请求,但是呢,请求只能被一个线程处理,其他的线程的不到这个事件,只能白白被唤醒。
这是最简单的一种惊群,这种情况在linux2.6以后就不会产生了。因为在Linux 2.6 版本之后,通过引入一个标记位 WQ_FLAG_EXCLUSIVE,解决掉了 Accept 惊群效应。我原本还想在centos3.9(内核版本是2.5)中去复现这种情况,但是折腾了好久,也没能在centos上编译也运行C++程序,遂放弃。 不废话了,上代码,测试第一种情况
#include <netinet/in.h>
#include <iostream>
#include <sys/epoll.h>
#include <iostream>
#include <thread>
#include <mutex>
#include <condition_variable>
#define WORKER_THREAD 4
//创建socket,并返回fd
int createSocket() {
int fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
if (fd < 0) {
std::cout << "create socket error" << std::endl;
return 0;
}
sockaddr_in sockAddr{};
sockAddr.sin_port = htons(PORT);
sockAddr.sin_family = AF_INET;
sockAddr.sin_addr.s_addr = htons(INADDR_ANY);
if (bind(fd, (sockaddr *) &sockAddr, sizeof(sockAddr)) < 0) {
std::cout << "bind socket error, port:" << PORT << std::endl;
return 0;
}
if (listen(fd, 100) < 0) {
std::cout << "listen port error" << std::endl;
return 0;
}
return fd;
}
void Worker1(int socketFd, int k) {
std::cout << " Worker" << k << " run " << std::endl;
while (true) {
int tfd = 0;
sockaddr_in cli_addr{};
socklen_t length = sizeof(cli_addr);
std::cout << "worker" << k << " in " << std::endl;
tfd = accept(socketFd, (sockaddr *) &cli_addr, &length);
if (tfd <= 0) {
std::cout << "accept error" << std::endl;
return;
} else {
std::cout << "worker" << k << " accept " << std::endl;
}
}
}
int main() {
std::mutex mutex;
std::unique_lock<std