关于SMP IRQ affinity

硬件中断，简单的说就是，每个硬件设备（如：硬盘、网卡等）都需要和 CPU 有某种形式的通信以便 CPU 及时知道发生了什么事情，这样 CPU 可能就会放下手中的事情去处理应急事件，硬件设备主动打扰 CPU 的现象就是硬件中断。

关于SMP IRQ affinity？
新的内核, Linux改进了分配特定中断到指定的处理器(或处理器组)的功能. 这被称为SMP IRQ affinity, 它可以控制系统如何响应各种硬件事件. 允许你限制或者重新分配服务器的工作负载, 从而让服务器更有效的工作. 以网卡中断为例，在没有设置SMP IRQ affinity时， 所有网卡中断都关联到CPU0, 这导致了CPU0负载过高，而无法有效快速的处理网络数据包，导致了瓶颈。 通过SMP IRQ affinity， 把网卡多个中断分配到多个CPU上，可以分散CPU压力，提高数据处理速度。

irqbalance的一些个介绍
irqbalance 用于优化中断分配,它会自动收集系统数据以分析使用模式,并依据系统负载状况将工作状态置于 Performance mode 或 Power-save mode.处于 Performance mode时irqbalance 会将中断尽可能均匀地分发给各个CPU以充分利用 CPU 多核,提升性能.处于 Power-save mode时,irqbalance 会将中断集中分配给第一个 CPU,以保证其它空闲 CPU 的睡眠时间,降低能耗。

在没有配置SMP IRQ affinity，也没有开启irqbalance的时候

在配置了SMP IRQ affinity，启动了RPS，关闭irqbalance

在作网络程序的时候, 经常需要了解interrupts和软中断的平衡情况, 需要知道每秒有多少中断发生,发生在哪个cpu上.
Linux下中断来源信息可以从 /proc/interrupts 中了解到
因为我们这边已经开了irqbalance，这个东西在负载不大的情况下，是个很不错的服务，他的主要功能是可以合理的调配使用各个CPU核心，特别是对于目前主流多核心的CPU，简单的说就是能够把压力均匀的分配到各个CPU核心上，对提升性能有很大的帮助。

[root@ISR ~]# service irqbalance status
Redirecting to /bin/systemctl status irqbalance.service
● irqbalance.service - irqbalance daemon
   Loaded: loaded (/usr/lib/systemd/system/irqbalance.service; enabled; vendor preset: enabled)
   Active: active (running) since Sun 2018-09-30 09:19:27 CST; 2 weeks 4 days ago
 Main PID: 755 (irqbalance)
    Tasks: 1
   CGroup: /system.slice/irqbalance.service
           └─755 /usr/sbin/irqbalance --foreground

Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.

首先我们可以通过访问/proc/cpuinfo的信息查看到cpu的具体信息。

[root@ISR ~]# cat /proc/cpuinfo| grep “processor”| wc -l
8

获取网卡的中断irq号，并且赋值给shell变量

[root@ISR ~]# cat /proc/interrupts | grep enp2s0 | awk -F “:” ‘{print $1}’
36

关闭irqbalance自动分配服务，好让咱们手动分配中断请求
[root@ISR ~]# systemctl stop irqbalance

指定CPU02来处理对应网卡的中断请求
[root@ISR ~]# echo 4 > /proc/irq/36/smp_affinity

这里的4是cpu的16进制表达式，分享一个脚本，直接算就可以了

#!/bin/bash
echo "统计cpu的16进制"
[ $# -ne 1 ] && echo ‘$1 is Cpu core number’ && exit 1
CCN=$1
echo “Print eth0 affinity”
for((i=0; i<${CCN}; i++))
do
echo ==============================
echo "Cpu Core $i is affinity"
((affinity=(1<<i)))
echo "obase=16;${affinity}" | bc
done

如果是8核心:

[root@ISR ~]# bash cpu.sh 8
统计cpu的16进制
“Print eth0 affinity”
==============================
Cpu Core 0 is affinity
1
==============================
Cpu Core 1 is affinity
2
==============================
Cpu Core 2 is affinity
4
==============================
Cpu Core 3 is affinity
8
==============================
Cpu Core 4 is affinity
10
==============================
Cpu Core 5 is affinity
20
==============================
Cpu Core 6 is affinity
40
==============================
Cpu Core 7 is affinity
80

然后对于smp_affinity的配置，根据16进制的cpu数目来算的，你要是输入5的话，那意思就是说 cpu0 和cpu2都参与进去了。
大家还会注意到，目录下还有个smp_affinity_list ，他是十进制的表达方式
两个配置是相通的，smp_affinity_list使用的是十进制，相比较smp_affinity的十六进制，可读性更好些。

echo 3,8 > /proc/irq/36/smp_affinity_list
echo 0-4 > /proc/irq/36/smp_affinity_list

利用watch查看切换后的效果
[root@102 ~]# watch -n 2 “cat /proc/interrupts |grep eth”

好了，需要说明的是：
对单队列网卡而言，smp_affinity和smp_affinity_list配置多CPU是没有效果的。这话也不是绝对的，咱们可以用RPS来搞定。该功能主要针对单队列网卡多CPU环境，如网卡支持多队列则可使用SMP irq affinity直接绑定硬中断，要是不支持多队列，那就用RPS解决网络软中断的负载均衡，即单个网卡的软中断分散到多个CPU处理，避免单个CPU负载过大导致性能瓶颈。
如何确定你的网卡支持多队列
cat /proc/interrupts |grep eth
如何查看系统
dmidecode -t system

事实上在一个大量小包的系统上，irqbalance优化几乎没有效果，而且还使得cpu消耗分配的不均衡，导致机器性能得不到充分的利用，这个时候需要把它给结束掉。不管怎么说，在同等条件下强烈大家选用多队列的网卡，常见的有Intel的82575、82576，Boardcom的57711等。
多队列网卡是一种技术，最初是用来解决网络IO QoS 问题的，随着网络IO的带宽的不断提升，单核CPU不能完全处满足网卡的需求，通过多队列网卡驱动的支持，将各个队列通过中断绑定到不同的核上。其实用bonding网卡绑定在一定程度也可以做中断负载均衡，两个网卡中断号可以绑定在不同的cpu核心上。
由于RPS只是单纯把数据包均衡到不同的cpu，这个时候如果应用程序所在的cpu和软中断处理的cpu不是同一个，此时对于cpu cache的影响会很大，那么RFS确保应用程序处理的cpu跟软中断处理的cpu是同一个，这样就充分利用cpu的cache.

总结下：
RPS/RFS主要是针对单队列网卡多CPU环境。虽然有这些虚拟队列的支撑，但是毕竟是软件模拟的。 强烈推荐用支持多队列的网卡。
多队列多重中断的网卡在使用了smp affinity之后也可以再使用该RFS RPS的功能，在这里他更像是个接收方的调解员，最大程度的提高cpu cache。