Linux线程调度bug,Linux线程调度引起的业务问题

一、 问题现象

1.业务组播出向报文偶尔有延迟；

2.单播出向报文平滑

二、 分析及定位

使用wireshark分析了组播出向报文的抓包，报文无丢包，但是IO 输出流量显示有burst和掉坑现象。

波形和抓包文件分析如下图：

后来在接收侧抓包，并分析日志，接收方没有出现丢包问题，但是有接收码流不足，导致收包不及时，业务不流畅。

通过在系统内核发包udp_sendmsg函数打点，发现有时候有300ms+没有报文发出，说明发包线程被阻塞。

下面是监控组播出向发包函数udp_sendmsg的打点记录日志：

__dev_xmit_skb:

78      send rate:  9 Mbps

79      send rate:  9 Mbps

80      send rate:  6 Mbps   ##有流量下降

diff_send_time_ms = 346      ##346毫秒无报文发送

81      send rate:  12 Mbps  ##有流量上升

82      send rate:  9 Mbps

83      send rate:  9 Mbps

84      send rate:  8 Mbps

diff_send_time_ms = 316

85      send rate:  7 Mbps   ##被发包线程削峰

86      send rate:  9 Mbps

87      send rate:  9 Mbps

确认系统上有migration实时线程频繁调度，同时发现系统记账功能pacct在系统上写了近70G文件。

其中一台设备上的 pacct文件：

业务组播发包线程也是实时线程：

关闭psacct服务后，内核migration线程没有再频繁调度，而且发包没有再出现300ms延迟(上图就是去掉psacct服务后的线程调度情况)。

经过几次抓包分析，出向流量很平稳，没有burst情况，业务阻塞现象消失。

关闭方法:

systemctl stop psacct.service

systemctl disable psacct.service

为什么psacct服务引起了migration，进而影响了业务组播发包线程的延迟？

一个猜测是，psacct进程写日志时造成cpu占用太高(当时psacct日志已经达到70G)，触发了migration调度，而migration调度又导致业务

ForwardThread实时线程阻塞，引起发包抖动。

三、migration和被阻塞线程ForwardThread调度方式

migration线程简介

为什么存在migration线程？

在计算机系统中，资源使用需要均衡，因此在相同硬件上能够获得较好的星星。在Linux内核系统中，使用一些迁移内核线程来做这些事情。

内核怎么创建migration线程？

migration线程相关结构定义：

static struct smp_hotplug_thread cpu_stop_threads = {

.store            = &cpu_stopper.thread,

.thread_should_run    = cpu_stop_should_run,

.thread_fn        = cpu_stopper_thread,

.thread_comm        = "migration/%u",

.create            = cpu_stop_create,

.setup            = cpu_stop_unpark,

.park            = cpu_stop_park,

.pre_unpark        = cpu_stop_unpark,

.selfparking        = true,

};

migration线程创建过程：

static int __init cpu_stop_init(void)

-->BUG_ON(smpboot_register_percpu_thread(&cpu_stop_threads));

1)__smpboot_create_thread

## kthread_create_on_cpu 创建线程调度优先级为0，调度策略为SCHED_NORMAL

tsk = kthread_create_on_cpu(smpboot_thread_fn, td, cpu, ht->thread_comm);  //register smpboot_thread_fn

-->kthread_create_on_node

-->sched_setscheduler_nocheck

2)## cpu_stop_create 设置调度优先级为MAX_RT_PRIO - 1(99)，调度策略为SCHED_FIFO

ht->create(cpu); ## cpu_stop_create

系统中migration线程信息：

业务组播发包线程调度方式：

在我们的业务代码中，通过以下接口设置业务发包线程调度策略和优先级：

param.sched_priority = sched_get_priority_max(SCHED_FIFO)  ;   /* 这个优先级为99 */

ret = pthread_setschedparam(pthread_self(), SCHED_FIFO, &param);

批注： 使用pthread_setschedparam函数设置可能会出现EPERM错误，这个又是另外一个问题了，后面单独开篇：)

系统中业务发包线程信息：

参考资料：

【migration介绍】https://www.systutorials.com/239971/migration-thread-works-inside-linux-kernel/

【Linux调度优先级】https://superuser.com/questions/203657/difference-between-nice-value-and-priority-in-the-top-output

标签：thread,stop,调度,send,线程,migration,Linux,cpu

来源： https://www.cnblogs.com/smith9527/p/12168508.html