也谈Go的公平调度的缺陷

最新推荐文章于 2022-04-18 22:48:34 发布
最新推荐文章于 2022-04-18 22:48:34 发布
阅读量202 收藏
点赞数
文章标签： golang
原文链接：https://my.oschina.net/linker/blog/1595136
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

《记一次latency问题排查：谈Go的公平调度的缺陷》一文发现了一个现象：从网络消息可读，到读网络的goroutine被再次调度，中间花费了4.368ms !!!

很遗憾的是作者想当然的认为这是由于Go的调度器的设计缺陷，但是并不是。

我之前写过两篇Blog，都谈到了GOMAXPROCS的设置，出现上面这个现象是由于这个参数设置的太小导致。

请把GOMAXPROCS设置到比较大的数值。

更进一步的做法,可以修改GO源码中关于调度器的部分, 使得monitor线程的最大等待时间变小.可以从10ms改成1ms,即可大大减小goroutine的调度延时.

 

转载于:https://my.oschina.net/linker/blog/1595136

weixin_34060741
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
001. Go 语言快速了解
起初你是我的炼狱，最后我们相互修炼。
05-06 118
本文主要简短说明了一下 Go 语言的背景，简要概括了 Go 语言特点和并发编程的一些知识。学习一门语言之前有个大概了解是至关重要的，否则一头扎进去满屏皆是枯燥的巨量代码。
go必知必会
哇哦~
11-30 414
sync.Pool 多图详解Go的sync.Pool源码 - luozhiyun`s Blog 基本结构体 sync.Pool的结构体上主要有几个字段，local是一个poolLocal数组的指针，localSize代表这个数组的大小；同样victim也是一个poolLocal数组的指针，每次垃圾回收的时候，Pool 会把 victim 中的对象移除，然后把 local 的数据给 victim。 poolLocal数组的大小就是p的数量，受runtime.GOMAXPROCS(0)决定，下标对应
论文研究-Hadoop公平调度器延迟调度算法延迟间隔的选择 .pdf
08-21
Hadoop公平调度器延迟调度算法延迟间隔的选择，张博钰，方维，目前，Hadoop分布式计算框架在各大互联网企业中被广泛的应用。多用户共享集群是Hadoop应用的典型场景，其中如何在保证用户作业服务质
GO调度模型的缺点
weixin_30276935的博客
07-07 160
记一次latency问题排查：谈Go的公平调度的缺陷 http://baijiahao.baidu.com/s?id=1587897390639953806&wfr=spider&for=pc 转载于:https://www.cnblogs.com/thrillerz/p/9278861.html
公平调度器
a999wt的专栏
12-24 696
Fair Scheduler是由Facebook贡献给Hadoop社区的一种task调度策略。Facebook推出它的目的是在生产环境中替换毫无特点的MapReduce默认Scheduler。         Fair Scheduler的诞生源于加州大学Berkeley分校、Facebook与Yahoo的研究人员于2009年4月底发表的论文《Job Scheduling for Mul
go的调度问题
儒岱
01-11 157
go的调度 线程和协程的区别，线程是内核态的，而协程是用户态。线程之间的切换主要由内核去调度，而协程之间的切换则需要用户去操作。线程切换需要保存上下文信息，切换到另一个线程，过段时间，恢复到之前的线程继续执行。cpu时间片的让渡，上下文的保存等等复杂操作都是由内核实现的，操作员不需要关注其中的细节。对操作员更加友好。但是为了支持这些操作，线程需要使用大量的资源。所以一个进程之间只能支持少量的线程，一般几个，十几个就会将资源耗尽。而协程则不同，它将协程之间的调度交给操作员去处理，优秀的操作员可以通过各.
Go GC：在 Go 1.5 解决延迟问题
weixin_34236869的博客
06-07 165
Richard L. Hudson (Rick) 是内存管理方面的专家，发明了 Train， Sapphire, 和 Mississippi Delta 等算法，其中 GC stack maps 算法使静态类型语言（比如：Java，C#, Go）的垃圾收集成为可能。他发表了很多关于语言运行时内存管理、并发、并行、内存模型、事务内存的文章。Rick 是 G...
golang个人整理知识点
kelvin
12-13 1289
个人整理golang全面知识点
python单核运行_python下多核，单核CPU对于并行，并发执行效率的对比-Go语言中文社区...
weixin_32321921的博客
12-30 1538
****这篇博客主要内容为python 中多线程以及多进程的效率对比，以及记录自己在做这个实验中遇到的一些问题以及心得背景引入：CPU制造商为了追求CPU效率放弃了在CPU频率上的追求(CPU频率即CPU单位时间内可以完成任务的多少)，反而开始把方向转向了多核CPU上。那么如何在多核CPU上充分发挥出多核的优势就成了一个问题。首先是简单介绍下多线程与多进程：线程：是程序执行流的最小单元，是系统独立...
上网行为安全之流量管理技术
✍千里之行，始于足下 ^,^
05-23 2409
1.流量管理需求背景 1、带宽资源被非关键应用大量占用: 单位内部人员上班时间使用P2P等软件下载与工作无关的资源、在线观看与工作无关的 视频，导致办公期间带宽严重不足，ERP、邮件、OA、视频会议等系统因为带宽问题响 应缓慢，严重影响了工作效率。 2、传统的缓存丢包式的流控无法控制P2P下行流量： P2P流量具有带宽侵蚀性，只要内部有对外P2P请求，即使流控设备能够丢掉部分P2P的 下行报...
linux 公平 队列_Linux2.6完全公平调度器内幕
weixin_39880632的博客
01-13 73
IBM开发者园地的一篇文章详细解释了；“任务调度器是任何操作系统的关键部分，Linux 在此领域中不断发展和创新。在内核 2.6.23 中，推出了Completely Fair Scheduler(CFS)。这款调度器不依赖于运行队列而是使用红黑树 (red-black tree) 实现任务管理...CFS背后的主要想法是维护为任务提供处理器时间方面的平衡(公平性)。这意味着应给进程分配相当数量的...
Yarn主导资源公平性调度算法
我是坏人哦
04-18 3088
最近在看《Hadoop权威指南 第4版》，其中对主导资源公平性的介绍可能由于翻译原因，出现了一处错误，经查资料理解了drf算法。希望本文能帮助到同样在读此书并对此处有疑惑的同学。
Yarn调度器和调度算法(FIFO、容量调度器 与 公平调度器)
FunnyPrince_的博客
09-16 6607
.。
YARN调度器的性能瓶颈
bitbitbyte的博客
04-14 280
DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule向AppMaster返回资源. 同时这个过程是异步的. 如何解决调度器调度能力不足, 计算资源浪费的问题. 调度器有: 公平调度器, 和容量量调度器. 公平调度器的性能瓶颈的核心原因是: 核心调度流程是单线程执行的。这意味着Container分配是串行的，这是调度器存在性能瓶颈的核...
公平调度器配置
我是一名程序猿
07-24 967
概念 公平调度器主要为所有运行的应用公平分配资源。 设想一个场景：假设有 A和B两个用户，分别拥有自己的队列。 A启动一个作业，在B没有需求时A会分配到全部可用的资源； 当A的作业仍在运行时B启动了一个作业，一段时间后，按照我们之前看到的方式，每个作业都用到了一半的集群资源。这时如果B启动第二个作业并且其它作业仍在运行，那么第二个作业将和B的其它作业共享资源，因此B的每个作业将占用四分之一...
Hadoop Yarn公平调度器的特点、缺额、DRF策略
学亮编程手记
07-29 763
特点 缺额 队列资源分配方式 队列资源分配算法 作业资源分配 DRF策略
YARN中的任务队列调度器-公平调度器（Fair Scheduler）
candy_rainbow的博客
10-26 6285
一、概述 公平调度器可以为所有的应用“平均公平”分配资源，当然，这种“公平”是可以配置的，称为权重，可以在分配文件中为每一个队列设置分配资源的权重，如果没有设置，默认是1（由于默认权重相同，因此，在不做配置的情况下，作业（队列）之间的资源占比相同）。 默认地，所有的应用程序在一段时间内平均获得相等的资源份额； 默认地，公平调度程序仅基于内存调度公平决策，当然，这种策略...
Linux的公平调度
Likes的博客
07-11 805
Linux的公平调度（CFS）原理 https://www.jianshu.com/p/673c9e4817a8 1、CFS的基本思路 在CFS算法引入之前，Linux使用过几种不同的调度算法，一开始的调度器是复杂度为O(n)的始调度算法(实际上每次会遍历所有任务，所以复杂度为O(n)), 这个算法的缺点是当内核中有很多任务时，调度器本身就会耗费不少时间，所以，从linux2.5开始引入赫赫...
Yarn调度器和调度算法
mengxianglong123的博客
08-11 318
概述 目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。 CDH框架默认调度器是Fair Scheduler。 具体设置详见：yarn-default.xml文件 <property> <description>The class to use as the resource scheduler.&lt
Linux完全公平调度器详解
"Linux完全公平调度ppt" Linux操作系统中的调度器是其内核核心部分，负责决定哪个进程在何时获得CPU的执行权。完全公平调度器(Completely Fair Scheduler, CFS)是Linux 2.6.23版本引入的一种新型调度器，其目标是为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值