linux 优先级反转,linux进程、线程及调度算法（四）

最新推荐文章于 2024-06-24 16:21:00 发布

weixin_39564853

最新推荐文章于 2024-06-24 16:21:00 发布

阅读量310

点赞数

文章标签： linux 优先级反转

作者: 雪山肥鱼

时间：20210523 21:08

目的：进程调度中的负载均衡

负载均衡

linux中，每个核都会跑相同的调度算法

FIFO

Normal

CFS(New) 红黑树，左右滚，自动奖罚

nice值奖励与惩罚(Legacy)

RT 进程(task_struct)： N 个优先级最高的RT 分布到 N 个核上，每个核乐于工作

核心空的时候，pull_rt_task( ) <<<< 从其他核拿任务

核心忙的时候，push_rt_task( ) >>>> 推给其他核

RT 自动均分到多核上，及时抢到CPU，更多强调的是实时性。

普通进程(normal)

周期性负载均衡 :操作系统的时钟节拍来的时候，对比旁边CPU 的繁忙程度，如果闲则推给旁边的CPU

IDLE时负载均衡：CPU 准备去跑idle，会看下旁边的核是不是很忙，会pull task 过来，继续干。

fork和exec时负载均衡：主动将创建的 task_struct 推到其他比较闲的CPU

所以一个线程，可能一会在CPU 1 一会再CPU2...，但可以控制线程在哪个核上

CPU task affinity 亲和性

//np: not posix 非posix api

int pthread_attr_setaffinity_np(pthread_attr_t*, size_t, const cpu_set_t *);

int pthread_attr_getaffinity_np(pthread_attr_t*, size_t, cpu_set_t*);

int sched_setaffinity(pid_t pid, unsigned int cpusetsize, cpu_set_t *mask);

int sched_getaffinity(pid_t pid, unsigned int cpusetsize, cpu_set_t *mask);

设置线程向哪个CPU 亲和，设置cpu_set_t 掩码: 0x6(110)，指向在 1 2 两个核上跑。设置为0x4:(100), 则指在2号CPU上跑。

taskset -a -p 01 29991

//命令设置进程在哪个核上跑。如果2个死循环线程跑在两个CPU上

//则从200% 降低到100%。因为所有线程都跑在一个核上啦

IRQ affinity 中断的负载均衡

分配IRQ到某个CPU

220aba97466e

多队列网卡.png

网卡有4个队列，每个队列的收发中断，分别设置成 1 2 4 8，则均分到4个核上，这就是中断的负载均衡。

如果一张网卡只有一个队列，但是有8个核，中断发给了第0个核，当CPU0 收到中断IRQ后，如果在cpu0 中又调了一个 soft IRQ，这个中断也会运行在cpu0，中断调度的软中断也会运行在同一cpu上的。所以对于cpu0来说，中断和软中断的负载都很重，TCP/IP处理都丢到软中断里去了。cpu0 忙的要死，旁边7个核看热闹，包的吞吐率肯定上不来。

linux提交的RPS补丁，将包处理负载均衡到多个cpu。

//软中断负载均衡到1-15个核上去，4个f 则 0-15 负载均衡。

//fffe 将自己的软中断派发到其他cpu上，所以的cpu 核参与到包的吞吐

echo fffe > /sys/class/net/eth1/queues/rx-0/rps_cpus fffe

cgroups 进程的分群

示例：2个用户在一台服务器上工作，比如编译，A用户创了1000个线程, B用户创建了32个线程，如果nice值都是0，则A线程占CPU的比例远远大于B线程占CPU的比例。

所以再引出一层: 分组。群与群之间先做完全公平调度。

群与群之间进行FC调度，群内部再进行CFS调度

cgourp 有一系列的操作，后续遇到再好好总结吧。

Hard realtime 可预期性

硬实时

在一定时间内必须有响应。比如导弹发射，从按按钮到发射，1ms。超过1ms 后果时灾难性的