Epoll 新增 EPOLLEXCLUSIVE 选项解决了新建连接的’惊群‘问题

最新推荐文章于 2024-05-31 11:03:50 发布
最新推荐文章于 2024-05-31 11:03:50 发布
阅读量7.6k 收藏 2
点赞数 1
分类专栏： Linux Tcp/Socket
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mumumuwudi/article/details/50552470
版权
Linux内核通过EPOLLEXCLUSIVE选项在epoll中引入了一个补丁，解决了TCP三次握手完成后，多个进程接受连接时的'惊群'现象。该补丁在监听socket的等待队列中使用add_wait_queue_exclusive()，确保只唤醒一个等待进程处理新连接。相关链接提供了更多详细信息。
摘要由CSDN通过智能技术生成

epoll最终和accept一样解决了新建连接的惊群问题 patch地址：
 https://github.com/torvalds/linux/commit/df0108c5da561c66c333bb46bfe3c1fc65905898
patch比较简单， 下面摘录了一部分关键修改~~



在加入listen socket的sk_sleep队列 的唤醒队列里使用了 add_wait_queue_exculsive()函数，  当tcp 收到 
三次握手最后一个 ack 报文时调用sock_def_readable时，只唤醒一个等待源， 从而避免’惊群‘.
调用栈如下：

//  tcp_v4_do_rcv()
//
//  -->tcp_child_process()
//
//  --->sock_def_readable()
//
//  ---->wake_up_interruptible_sync_poll()
//
//  ----->__wake_u
最低0.47元/天 解锁文章
mumumuwudi
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
epoll在多线程中的应用-EPOLLEXCLUSIVE和REUSEPORT(一)
dream0130__的博客
01-16 3784
以下均为对epoll在多线程中的使用的一些笔记，如果有不对的地方，烦请指出 主要对于我所遇到的问题进行讨论，不会讨论代码如何改写，探讨如何解决这个问题 一.引言 这些问题均是我在编写我的Web服务器遇到的,我在编写多线程Web服务器的时候,思考如何利用多核的优势来编写Web服务器.在学习了muduo网络库之后，我的先前一个版本的Web服务器采用这种方式,一个master线程+多个工人线程,但是我觉...
epoll 惊群
spch2008的专栏
01-15 4652
起因： 最近，一直在学习nginx。对于事件模块所解决的”惊群“现象完全不明白，遂产生了此文。 套接字： 可以将服务器端的套接字分为 监听套接字 与 连接套接字。 监听套接字负责等待用户连接，而通过accept，获得一个新的套接字， 该套接字为连接套接字，通过连接套接字与用户传送数据。 何谓惊群： nginx 分为 master 进程 与 worker 进程，worke
epoll 的惊群效应
最新发布
Elena's Blog
05-31 125
在多线程或者多进程环境下，有些人为了提高程序的稳定性，往往会让多个线程或者多个进程同时在 epoll_wait 监听的 socket 描述符。当一个新的链接请求进来时，操作系统不知道选派那个线程或者进程处理此事件，则干脆将其中几个线程或者进程给唤醒，而实际上只有其中一个进程或者线程能够成功处理 accept 事件，其他线程都将失败，且 errno 错误码为 EAGAIN。这种现象称为惊群效应，结果是肯定的，惊群效应肯定会带来资源的消耗和性能的影响。
深入了解epoll模型（特别详细）
木牛的博客
07-28 388
有的朋友可能对select也不是很了解啊，我这里稍微科普一下：网络连接，服务器也是通过文件描述符来管理这些连接上来的客户端，既然是供连接的服务器，那就免不了要接收来自客户端的消息。那么多台客户端，消息那么的多，要是漏了一条两条重要消息，那也不要用TCP了，那怎么办？前辈们就是有办法，轮询，轮询每个客户端文件描述符，查看他们是否带着消息，如果带着，那就处理一下；如果没带着，那就一边等着去。这就是select，轮询，颇有点领导下基层的那种感觉哈。
linux 多线程或多进程 epoll处理 accept 惊群问题
Linux高级开发的博客
02-21 3032
什么是惊群 简单说，惊群是因为多进程（多线程）在同时阻塞等待同一个事件的时候（休眠状态），当时间发生时，就会唤醒所有等待的（休眠的）进程（线程）。但是事件只能被一个进程或线程处理，而其他进程（线程）获取失败，只能重新进入休眠状态，这种现象和性能浪费就叫做惊群。 产生惊群的条件 多个进程或者多个线程 同时等待处理一个事件 具体场景复现 测试环境 : debian11 内核5.10.0-8 编译器 clang11 多线程和多进程在惊群问题上差不多，为了少些一点，下文中没有特殊说明，多线程 也包含
epoll惊群效应
qq_41583040的博客
05-19 245
epoll惊群效应
详解nginx惊群问题的解决方式
09-29
NGINX通过采用一种共享锁的机制来解决惊群问题。 在NGINX中，master进程负责监听配置文件中的端口，并创建多个子进程，这些子进程继承了master进程的内存数据和监听的端口，被称为worker进程。当客户端有新的连接...
linux epoll
01-15
为了更好地理解和解决惊群问题，可以编写一个简单的示例程序，模拟8个工作进程共享监听套接字的情景，然后通过`alarm`函数设置超时，触发惊群现象的模拟。文件`alarmall`可能就是这样一个示例程序，它可以用来演示并...
Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池)
09-27
在Linux 系统下面用C 语言实现的高并发服务器的代码，具体用到了Epoll，线程池，数据库连接池。 具体可以看下连接http://blog.csdn.net/wuyuxing24/article/details/48758927
C++ epoll方式 client与server stocket连接通信例子.zip
12-15
这个"C++ epoll client与server stocket连接通信例子"是一个很好的学习资源，它可以帮助开发者理解如何在实际项目中运用epoll进行高效的网络编程。通过阅读和运行代码，可以深入理解epoll的工作机制以及如何与C++...
惊群现象
nanjunxiao的专栏
06-20 6793
今天再看nginx架构发现了它也存在惊群现象，之前师兄的socks5代理服务器同样存在着惊群现象。 惊群（thundering herd）是指，只有一个子进程能获得连接，但所有N个子进程却都被唤醒了，这种情况将使性能受损。 nginx架构如上图所示，每个worker都是从master fork过来，在master里先建立好需listen的socket之后，然后fork出多个wo
epoll介绍
逆风水手的博客
04-04 254
EPOLL
惊群汇总（含epoll惊群）
编程爱好者的博客
03-14 733
原文查看https://www.cnblogs.com/Anker/p/7071849.html https://blog.csdn.net/lyztyycode/article/details/78648798 https://blog.csdn.net/dog250/article/details/80837278 汇总一下他们的博客供自己复习使用，我就不自己写了，他们...
accpet惊群和epoll惊群现象
我是一片云
03-01 839
 http://www.citi.umich.edu/projects/linux-scalability/reports/accept.html accpet惊群现象的解决（独占） https://github.com/torvalds/linux/commit/df0108c5da561c66c333bb46bfe3c1fc65905898 epoll惊群现象的解决主要参考上面的两篇文章在做负...
边缘触发的问题：不必要的唤醒以及饥饿
linqi的博客
11-23 1733
1）不必要的唤醒： 1.内核：收到第一个连接请求。线程 A 和 线程 B 两个线程都在 epoll_wait() 上等待。 由于采用边缘触发模式，所以只有一个线程会收到通知。这里假定线程 A 收到通知 2.线程A：epoll_wait() 返回 3.线程A：调用 accpet() 并且成功 4.内核：此时 accept queue 为空，所以将边缘触发的 socket 的状态从可读置成不可读 5.内核：收到第二个建连请求 6.内核：此时，由于线程 A 还在执行 accept() 处理，只剩..
源码剖析之epoll(2)
哈哈
12-22 385
1. 源码分析本篇主要分析epoll_ctl以及相关函数以下源码取自4.101.1 epoll_ctl用于添加/调整/删除我们要监视的事件fs/eventpoll.c/* * The following function implements the controller interface for * the eventpoll file that enables the insertion/
Linux 下 Epoll 源码深入解读
Tattoo的博客
02-26 1613
Epoll 概述 epoll是linux中IO多路复用的一种机制，I / O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。当然linux中IO多路复用不仅仅是epoll，其他多路复用机制还有select、poll，但是接下来介绍epoll的内核实现。 网上关于epoll接口的介绍非常多，这个不是我关注的重点，但是...
高并发中的惊群问题
destiny的专栏
02-26 707
1 惊群效应是什么？ 惊群效应（thundering herd）是指多进程（多线程）在同时阻塞等待同一个事件的时候（休眠状态），如果等待的这个事件发生，那么他就会唤醒等待的所有进程（或者线程），但是最终却只能有一个进程（线程）获得这个时间的“控制权”，对该事件进行处理，而其他进程（线程）获取“控制权”失败，只能重新进入休眠状态，这种现象和性能浪费就叫做惊群效应。 2惊群效应消耗...
徒手撸个http 服务器(二) ----epoll系列函数
unicxitoiv的博客
08-13 595
以下函数均在 epoll DESCRIPTION Level-triggered and edge-triggered proc interfaces epoll_create DESCRIPTION epoll_create epoll_create1 RETURN VALUE ERRORS NOTES epoll_ctl DESCRIPTION epoll
epoll连接线程池
07-29
epoll连接线程池是一个常见的网络编程中的技术，用于处理大量并发连接。下面是实现epoll连接线程池的一般步骤： 1. 创建一个监听socket，并将其绑定到指定的端口上。 2. 创建一个epoll句柄，并将监听socket添加到epoll中。 3. 创建一个线程池，用于处理连接请求。 4. 进入主循环，等待事件触发。 5. 当有新的连接请求到达时，主线程接受连接，并将连接socket添加到epoll中。 6. 当有事件触发时，主线程从epoll中获取就绪的事件，并根据事件类型进行相应的处理。 7. 如果是连接请求事件，主线程将连接socket从epoll中删除，并将其交给线程池中的一个空闲线程进行处理。 8. 线程池中的线程处理连接请求，并执行相应的业务逻辑。 9. 线程处理完毕后，将连接socket交还给主线程，主线程将其重新添加到epoll中等待下一次事件触发。 通过使用epoll连接线程池，可以实现高效的并发处理，提高网络应用的性能和可伸缩性。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值