李彬
运营支持处
一、准备知识
在说CPU的亲和性之前,我们先说说几个概念。
1. 物理CPU:机器上实际安装的CPU个数,比如说主板上安装了一块8核CPU,那么物理CPU个数就是1个,所以物理CPU个数就是主板上安装的CPU个数。
2. 逻辑CPU:一般情况下,一个物理CPU会有多个核,加上Intel的超线程技术(Hyper-Threading),可以在逻辑上再分一倍数量的CPU出来。
3. 超线程技术(Hyper-Threading):就是利用特殊的硬件指令,把一个CPU核模拟成两个逻辑CPU,实现超线程。我们常说的双核四线程/四核八线程指的就是支持超线程技术的CPU。
逻辑CPU的数量=物理CPU的数量*CPU的核数*2(如果支持并开启了超线程的话)。
二、CPU的亲和性
CPU的亲和性是一种调度属性,它可以将一个进程绑定到一个或者一组CPU上。CPU的亲和性分为两种:软亲和性和硬亲和性。软CPU亲和性就是进程要在指定的CPU上尽量长时间地运行而不被迁移到其他处理器上运行。Linux内核进程调度器天生就具有软CPU亲和性的特性,这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们所希望的,因为进程在处理器间的迁移的代价是很大的,进程迁移的频率小就意味着产生的负载小。Linux内核中还包含了一种硬CPU亲和性的机制,这个机制让开发人员可以实现硬CPU亲和性。这意味着可以显式指定进程在哪个(或哪些)处理器上运行。
在Linux内核中,所有的进程都有一个相关的数据结构,称为task_struct。这个结构非常重要,其中与亲和性相关度最高的就是cpus_allowed位掩码。这个位掩码由n位组成,与系统中的n个逻辑CPU一一对应。如果为给定的进程设置了给定的位,那么这个进程就可以在相关的CPU上运行了。因此,如果一个进程可以在任何CPU上运行,并且能够根据需要在CPU之间进行迁移,那么这位掩码就全都是1。实际上,这就是Linux中进程的缺省状态,缺省状态下,Linux中的进程可以在所有的CPU上运行。
Linux提供了一些方法,可以让用户通过修改位掩码来指定进程只能在某个(或者某些)CPU上运行。
通常Linux内核都可以很好地对进程进行调度,在应该运行的地方运行进程,也就是说,在可用的处理器上运行并获得很好的整体性能。Linux内核中包含了一些用来检测CPU之间任务负载迁移的算法,可以启用进程迁移来降低繁忙的处理器的压力。
一般情况下,在应用程序中只需要使用缺省的调度器行为。然而,有时候我们可能会希望修改这些缺省行为以实现性能的优化。一般来说,我们要使用硬CPU亲和性有3个原因:有大量的计算要做;应用程序复杂;正在运行时间敏感的、决定性的进程。
1. 编程API设置CPU亲和性
硬CPU亲和性的设置可以通过编程来实现,Linux内核提供了一些系统API,如:sched_set_affinity(),sched_get_affinity(),CPU_ZERO(),CPU_SET()等。
一个简单设置硬CPU亲和性的例子如下:
#include
#include
#include
#include
int main(void)
{
int i, nrcpus;
cpu_set_t mask;
unsigned long bitmask = 0;
CPU_ZERO(&mask);
CPU_SET(0, &mask);
CPU_SET(2, &mask);
if (sched_setaffinity(0, sizeof(cpu_set_t), &mask) == -1)
{
perror("sched_setaffinity");
exit(-1);
}
return 0;
}
2. 命令方式设置CPU亲和性
硬CPU亲和性的设置还可以通过taskset命令来设置。Taskset的命令格式是:
taskset [options] mask command [arg]…
taskset [options] –p [mask] pid
mask是CPU亲和性
command是可执行程序
arg是command的参数
pid是进程ID
第一个命令是用来设置可执行程序的硬CPU亲和性,第二个命令是用来设置已经运行的进程的硬CPU亲和性。
三、写在最后
最近在项目中,笔者碰到了系统CPU使用率不稳定的情况,分析了很久,才排查到是CPU亲和性相关的问题。如果读者后续碰到类似的问题,可以参考从调整CPU亲和性方面考虑。后附笔者碰到问题的CPU使用率图。
编辑/赵小娟