Linux绑核效率优化

Linux绑核效率优化

原理概述：

cpu一般有多个物理核心，但在运行进程和线程时候，可以将其绑定或者指定到某一个或者多个核心上运行。这样做的好处是：一般在核数比较多的机器上，会有多个CPU共享三级缓存cache的情况。当出现跨cache数据通信时，效率会比同一个cache内通信慢上一些。默认情况下程序运行时不会考虑cache的分组，哪个核空闲就会用哪一个。

在Linux上一般会用0-n给cpu进行编号，在目录/sys/devices/system/cpu/下不同的目录存放不同cpu的信息。

假如一个cpu有8个核，0-3共享一个cache，4-7共享一个cache，经测试程序运行时绑核在0,1,2,3会比由系统自行调度效率高出10-14%

在核数低于4核的CPU上，一般都只有一组缓存，这种情况下绑核不会有效率上的提升。

哪几个CPU在同一组并不是固定的，需要查看系统的配置信息，一般/sys/devices/system/cpu/cpu0/cache/index3/shared_cpu_map文件里以16进制数的形式记录了与cpu0共享三级缓存的cpu，比如00ff，其实就是00001111，就代表0-3号cpu与cpu0共享了同一块三级缓存，一般编程获取的方式使用此文件。

人为观察一般查看/sys/devices/system/cpu/cpu0/cache/index3/shared_cpu_list文件，一般的写法诸如0-5,12-17则代表0-5,12-17号cpu共享同一块三级缓存。

绑核方式

命令绑核：taskset

# 平时启动wps
./wps
# 绑核启动WPS
taskset -c 0,1,2,3 ./wps
# 代表将使用cpu0-cpu3执行wps进程

线程绑核

#include <stdio.h>
#include <stdlib.h>
#define __USE_GNU
#include <sched.h>
#include <pthread.h>

#define NUM_OF_TASKS 5

long shared_cache_cpus;
cpu_set_t cpu_set;

int get_cpu_topo()
{
    int last_cache;
    char cache_info_path[100];
    char str[100];
    FILE *fp;

    //获取cpu有最后一级cache
    int i;
    for (i = 0;i < 5;++i) {
        sprintf(cache_info_path, "/sys/devices/system/cpu/cpu0/cache/index%d/shared_cpu_map", i);
        fp = fopen(cache_info_path, "r");
        if (fp == NULL)
            break;
        fclose(fp);
    }
    last_cache = i -1;

    //读取LLC中shared cache信息
    sprintf(cache_info_path, "/sys/devices/system/cpu/cpu0/cache/index%d/shared_cpu_map", last_cache);
    fp = fopen(cache_info_path, "r");
    if (fp == NULL) {
        perror("open file failed!!!");
        return -1;
    }
    fgets(str, 100, fp);
    shared_cache_cpus = strtol(str, NULL, 16);

    fclose(fp);

    return 0;
}

int bind_thread()
{
    long cpus;

    CPU_ZERO(&cpu_set);
    cpus = shared_cache_cpus;
    for (int i = 0;i < 64; ++i) {
        printf("cpu %d:: ", cpus);
        if (cpus&1) {
            CPU_SET(i, &cpu_set);
            printf("bind to cpu: %d\n", i);
        }

        cpus = cpus >> 1;
    }

    return 0;
}

void WasteTime(void)
{
    int abc = 1000;
    int temp = 0;

    while(abc--)
        temp = 10000*10000;

    sleep(1);
}
 
void *thread_func(void *param)
{
    while(1)
    {
        if (pthread_setaffinity_np(pthread_self(), sizeof(cpu_set), &cpu_set) < 0)
            perror("pthread_setaffinity_np");
        WasteTime();
    }
}

int main()
{
    pthread_t my_thread[NUM_OF_TASKS];

    if (get_cpu_topo() == 0) {
        bind_thread();
    }

    for (int t = 0;t < NUM_OF_TASKS; ++t) {
        if (pthread_create(&my_thread[t], NULL, thread_func, NULL) != 0) {
            perror("pthread_create ERROR!!!");
            return -1;
        }
    }

    for (int t = 0;t < NUM_OF_TASKS; ++t) {
        pthread_join(my_thread[t], NULL);
    }

    pthread_exit(NULL);

    return 0;
}

进程绑核

#include <unistd.h>
#include <sched.h>
#include <sys/sysinfo.h>
#define MAX_CPU_CACHE_LEVEL 5  // cpu最高三级缓存，从0开始循环，取到4确保能拿到最高值

int bindProcess()
{
    //根据cpu共享cache的情况进行绑核，提升运行效率。
    if (get_nprocs() <= 4)
        return 0;

    char cache_info_path[100] = {'\0'};
    char str[100] = {'\0'};

    //获取cpu有最后一级cache
    int i;
    for (i = 0; i < MAX_CPU_CACHE_LEVEL; ++i) 
    {
        sprintf(cache_info_path, "/sys/devices/system/cpu/cpu0/cache/index%d/shared_cpu_map", i);

        if (0 != access(cache_info_path, R_OK))
            break;
    }

    int last_cache = i - 1;

    //读取LLC中shared cache信息
    sprintf(cache_info_path, "/sys/devices/system/cpu/cpu0/cache/index%d/shared_cpu_map", last_cache);
    FILE *fp = fopen(cache_info_path, "r");
    if (fp == NULL) 
    {
        perror("open file failed!!!");
        return -1;
    }
    fgets(str, 100, fp);
    //移除str中的','，否则在有些多核系统上转long会失败
    int j = 0, k = 0;
    while(str[j] != '\0')
    {
        if (str[j] != ',')
        {
            str[k++] = str[j];
        }
        j++;
    }
    str[k] = str[j];
    long shared_cache_cpus = strtol(str, NULL, 16);

    fclose(fp);

    cpu_set_t cpu_set;
    CPU_ZERO(&cpu_set);
    for (int i = 0; i < 64; ++i) 
    {
        if (shared_cache_cpus & 1) 
        {
            CPU_SET(i, &cpu_set);
        }
        shared_cache_cpus = shared_cache_cpus >> 1;
    }
    
    sched_setaffinity(getpid(), sizeof(cpu_set), &cpu_set);
    return 0;
}

在自己的项目代码中嵌入

只需要在main函数执行Exec前，调用上述bindProcess函数即可

参考资料

• https://en.wikipedia.org/wiki/CPU_cache#Cache_miss
• https://blog.csdn.net/fanyun_01/article/details/102788269
• https://blog.csdn.net/ethercat_i7/article/details/105717152