惊群效应及其解决方法

已于 2022-08-29 11:32:20 修改
阅读量2.2k 收藏 6
点赞数
分类专栏： 操作系统 文章标签： 惊群效应
于 2022-05-17 20:39:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TABE_/article/details/124829282
版权
惊群效应是指多个进程或线程等待同一事件时，事件触发唤醒所有进程，但只有一个能处理，造成资源浪费。其危害在于增加了系统无效调度的开销。解决方法包括在accept前加锁避免锁竞争，以及使用SO_REUSEPORT让内核决定新连接分配给哪个进程。
摘要由CSDN通过智能技术生成

这里写目录标题

惊群效应的概念

惊群现象就是多进程（多线程）在同时阻塞等待同一个事件的时候（休眠状态），如果等待的这个事件发生，那么他就会唤醒等待的所有进程（或者线程），但是最终却只可能有一个进程（线程）获得这个事件的“控制权”，对该事件进行处理，而其他进程（线程）获取“控制权”失败，只能重新进入休眠状态，这种现象和性能浪费就叫做惊群。

惊群效应的危害：系统对用户进程/线程频繁地做无效的调度，加大了系统开销。

惊群效应的解决方法

在accept之前加锁

lock;
accept();
unlock;

SO_REUSEPORT

在使用SO_REUSEPORT后，多个进程的套接字可以同时监听同一个IP：端口，然后由内核决定将新连接发送给哪个进程，显然会降低每个进程接收新链接时锁竞争：
在这里插入图片描述

TABE_
关注
专栏目录
Zookeeper分布式锁遇到惊群效应如何解决
梵天的佑翊的博客
05-08 4535
一.什么是惊群效应 举一个很简单的例子，当你往一群鸽子中间扔一块食物，虽然最终只有一个鸽子抢到食物，但所有鸽子都会被惊动来争夺，没有抢到食物的鸽子只好回去继续睡觉， 等待下一块食物到来。这样，每扔一块食物，都会惊动所有的鸽子，即为惊群。对于操作系统来说，多个进程/线程在等待同一资源是，也会产生类似的效果，其结果就是每当资源可用，所有的进程/线程都来竞争资源。 二.惊群效应的危害...
epoll惊群效应深度剖析
Linuxhus的博客
04-09 323
epoll惊群效应深度剖析 前情提要 我们一个基于Nginx+uWSGI+python的服务最近在高峰期经常会遇到负载高导致一些请求报错的情况，在单机qps只有差不多2000-3000左右的时候内核的cpu占用竟然高达超过20%，内核每秒上下文切换超过200w次，分析之后发现是nginx+uwsgi引发了惊群效应，导致性能急剧下降，通过上锁解决惊群问题之后服务恢复。基于这个排查过程，再加上我之前写过的关于epoll的分析最后也把惊群效应一笔带过，当时没有写完整，那咱这次就好好聊聊这个话题，我会先详细
什么是惊群效应
sinat_14913533的博客
10-22 2952
这个话题来自一个面试，当问到Socket编程中的accept()是否有惊群问题，引深又文档epoll多路复用中epoll_wait()是否有惊群问题。因为没有准备背过八股文，突然问到这个问题，还是稍微有点措手不及，当然就没有背过的那么快速干脆了，而对方在强调结果，也没给我思考分析的时间，我还在仔细回想这个里哪里存在惊群问题的时候，对方已经打断我说好了。所以这里就记录分析一下，到底什么是惊群效应，以及在并发编程中的应对方式。
linux惊群效应
qq_22473333的博客
02-03 309
原文连接：https://xiaomaweifu.blog.csdn.net/article/details/78648798 linux惊群效应 详细的介绍什么是惊群，惊群在线程和进程中的具体表现，惊群的系统消耗和惊群的处理方法。 1、惊群效应是什么？ 惊群效应也有人叫做雷鸣群体效应，不过叫什么，简言之，惊群现象就是多进程（多线程）在同时阻塞等待同一个事件的时候（休眠状态），如果等待的这个事件发生，那么他就会唤醒等待的所有进程（或者线程），但是最终却只可能有一个进程（线程）获得这个时间的“控制权”，.
“惊群”问题
husthan的专栏
09-20 3380
“据说”惊群问题已经是一个很古老的问题了，并且在大多数系统中已经得到有效解决，但对我来说，仍旧是一个比较新的概念，因此有必要记录一下。 什么是惊群         举一个很简单的例子，当你往一群鸽子中间扔一块食物，虽然最终只有一个鸽子抢到食物，但所有鸽子都会被惊动来争
惊群问题如何解决？
fantasy_ARM9的博客
05-31 766
一.惊群效应简介 当你往一群鸽子中间扔一块食物，虽然最终只有一个鸽子抢到食物，但所有鸽子都会被惊动来争夺，没有抢到食物的鸽子只好回去继续睡觉， 等待下一块食物到来。这样，每扔一块食物，都会惊动所有的鸽子，即为惊群。 简单地说：就是扔一块食物，所有鸽子来抢，但最终只一个鸽子抢到了食物。 二. 操作系统的惊群 在多进程/多线程等待同一资源时，也会出现惊群。即当某一资源可用时，多个进程/线程会惊醒，竞争资源。这就是操作系统中的惊群。 三. 看一下nginx中解决惊群的方法。 上面是nginx多进程工作
关于线程池的“惊群效应”
tuantuanls的专栏
11-17 1万+
什么是惊群         举一个很简单的例子，当你往一群鸽子中间扔一块食物，虽然最终只有一个鸽子抢到食物，但所有鸽子都会被惊动来争夺，没有抢到食物的鸽子只好回去继续睡觉， 等待下一块食物到来。这样，每扔一块食物，都会惊动所有的鸽子，即为惊群。对于操作系统来说，多个进程/线程在等待同一资源是，也会产生类似的效果，其结 果就是每当资源可用，所有的进程/线程都来竞争资源，造成的后果： 1）系统对用
Linux下各种锁的理解和使用及总结解决epoll惊群问题(面试常考)
Linux高级开发的博客
03-21 620
一.锁 锁出现的原因 临界资源是什么: 多线程执行流所共享的资源 锁的作用是什么, 可以做原子操作, 在多线程中针对临界资源的互斥访问... 保证一个时刻只有一个线程可以持有锁对于临界资源做修改操作... 任何一个线程如果需要修改，向临界资源做写入操作都必须持有锁，没有持有锁就不能对于临界资源做写入操作. 锁 ： 保证同一时刻只能有一个线程对于临界资源做写入操作 (锁地功能) 再一个直观地代码引出问题，再从指令集的角度去看问题 #include <stdio.h> #includ
nginx惊群效应学习
zcd1023的博客
05-17 98
学习链接： Nginx的惊群问题 Nginx惊群问题分析及解决 Liunx与Nginx中的惊群效应 测试代码： nginx如何解决惊群效应 server_accept.cpp /* * * * * */ #include <arpa/inet.h> #include <netinet/in.h> #include <stdio.h> #include <errno.h> #include <stdlib.h> #include <
惊群现象
nanjunxiao的专栏
06-20 6798
今天再看nginx架构发现了它也存在惊群现象，之前师兄的socks5代理服务器同样存在着惊群现象。 惊群（thundering herd）是指，只有一个子进程能获得连接，但所有N个子进程却都被唤醒了，这种情况将使性能受损。 nginx架构如上图所示，每个worker都是从master fork过来，在master里先建立好需listen的socket之后，然后fork出多个wo
解决多进程模式下引起的“惊群”效应
腾讯技术工程
08-22 1254
导语： 对不起，我是标题党，本文解决的不是我们理解的“惊群”效应，先为我们操作系统组的正下名，因为腾讯服务器的内核版本，已经解决epoll模式下的惊群现象（本文描述的现象...
什么是惊群，如何有效避免惊群?
thlzjfefe的博客
07-27 1740
前言 因为项目涉及到 Nginx 一些公共模块的使用，而且也想对惊群效应有个深入的了解，在整理了网上资料以及实践后，记录成文章以便大家复习巩固。 结论 不管还是多进程还是多线程，都存在惊群效应，本篇文章使用多进程分析。 在 Linux2.6 版本之后，已经解决了系统调用 accept 的惊群效应（前提是没有使用 select、poll、epoll 等事件机制）。 目前 Linux 已经部...
惊群效应
AAA821的专栏
10-02 301
什么是惊群，举一个很简单的例子，当你往一群鸽子中间扔一块食物，虽然最终只有一个鸽子抢到食物，但所有鸽子都会被惊动来争夺，没有抢到食物的鸽子只好回去继续睡觉， 等待下一块食物到来。这样，每扔一块食物，都会惊动所有的鸽子，即为惊群。对于操作系统来说，多个进程/线程在等待同一资源是，也会产生类似的效果，其结 果就是每当资源可用，所有的进程/线程都来竞争资源，造成的后果： 1）系统对用户进程/线程频繁的...
nginx如何解决惊群效应
I want to know a little more.
06-09 949
本文主要内容包括惊群效应简介、nginx如何解决惊群和一个仿照nginx避免惊群效应的简单例子 惊群效应 惊群简单来说就是多个进程或者线程在等待同一个事件，当事件发生时，所有线程和进程都会被内核唤醒。唤醒后通常只有一个进程获得了该事件并进行处理，其他进程发现获取事件失败后又继续进入了等待状态，在一定程度上降低了系统性能。 具体来说惊群通常发生在服务器的监听等待调用上，服务器创建监听socket，后fork多个进程，在每个进程中调用accept或者epoll_wait等待终端的连接。 accept和e
[框架]高并发中的惊群效应
热门推荐
second60的博客
07-27 2万+
高并发中的惊群效应 second60 20180726 目录 高并发中的惊群效应 1.惊群效应简介 2. 操作系统的惊群 3. 惊群的坏处 3.1 坏处 3.2 其他 4 惊群的几种情况 4.1 accept惊群(新版内核已解决) 4.2 epoll惊群 4.2.1 fork之前创建epollfd(新版内核已解决) 4.2.2 fork之后创建epollfd(内核未解决)...
Linux 惊群现象
benbendy1984的专栏
05-24 4906
        在linux中，惊群现象已经消失了的，我们可以看   http://simohayha.javaeye.com/blog/561424 ，但是当我们在开发服务器时候，需要使用epoll，发现一个问题，就是当一个请求过来的时候，发现有的时候被唤起的进程不止一个，看下面的程序:#include #include #include #include #include
Zookeeper惊群效应的解决办法
最新发布
09-26
针对Zookeeper惊群效应，有以下几种解决办法： - 一种常见的解决办法是引入中间层，例如使用Redis等缓存服务来实现分布式锁，以减轻对Zookeeper服务器的压力。 - 另一种解决办法是使用排他锁，即只有一个客户端能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值