linux多队列网卡中断绑定,网卡多队列及中断均衡

背景

记录网卡多队列及中断均衡相关的笔记，供参考。

概念

网卡多队列需要硬件和驱动同时支持，通常新服务器上的网卡都是支持的。

网卡多队列，即每个CPU一个网卡队列，每个队列对应一个独立的中断。

中断均衡问题

每个网卡队列对应的中断默认并没有跟相应的cpu做绑定，也就是说默认情况下这些中断都是没有绑定的，那么按内核默认的处理策略，在没有开启irqblance的情况下，对于没有绑定的中断，默认都会在cpu0上运行。这样会导致CPU占用不均衡。

所以，如果需要使用网卡多队列，需要手工进行中断绑定(通常使用proc接口)，或开启irqbalance服务(会根据CPU负载情况自动均衡irq到各个CPU上，但也不能保证绝对均衡，不能保证每个网卡中断都对应到一个CPU上，可能多个网卡中断绑在同一个CPU上)。

通常，支持多队列网卡的驱动中，都会做中断绑定，通常策略是一个队列(中断)对应一个CPU核。

网卡多队列上的中断均衡是个比较难解决的问题。以Intel 82599万兆网卡为例，当网卡硬件收到一个网络包时，如何决定将这个包派发到哪个CPU去处理，也就是说如何决定触发哪个CPU的中断？

这个是有网卡固件决定的，Intel的网卡通常是按一定的hash算法进行分发，hash依据的键值通常为网络连接的四元组(两端的IP和端口)，也就是说：网卡倾向于将同一个网络连接上的数据派发到同一个CPU上去处理，考虑到cache命中率、数据一致性相关的因素，这个当然是合理的。

但是，这种情况下，当各个网络连接上的数据流量不均