irqbalance机制分析

本文档基于irqbalance-1.5.0

源码链接：https://launchpad.net/ubuntu/+source/irqbalance/

1. object tree

       Irqbalance是用户空间用于优化中断的一个工具，通过周期性的（默认10s）统计各个cpu上的中断情况，重新对中断进行再分配，实现各个cpu上中断负载相对均衡。中断均衡是建立再“object tree”的基础之上的，object   tree则是通过系统的拓扑结构建立的分层结构。根据系统结构属性NUMA node/packet/cache affinity可以将系统划分为自上而下的四层：node->package->cache->cpu。

       以16核双路服务器为例，系统有两个numa node，每个节点包含两个cluster，每个cluster包含4个cores，共享l2 cache。其结构简图如下：

                                            

　　 对应的object tree拓扑结构如图：

 

其中：

（1）每个节点为一个object，通过struct topo_obj描述。

（2）上下层之间的节点通过parent/child指针管理

（3）每一层都有一个全局链表头指针，用于组织管理处于同一层的所有节点。

 

2. 数据结构

2.1 Irq_info

       在树形拓扑结构建立之后，就需要统计各个节点上中断负载的信息，以便为重新分配中断提供依据。对于各个中断信息通过struct irq_info来描述。下面结合各个字段介绍下irqlabalance中几个比较关键的概念。

struct irq_info {
     int irq;       //中断号
     int class;
     int type;
     int level;
     int flags;
     struct topo_obj *numa_node;    //中断当前所在node节点对应的object
     cpumask_t cpumask;
     uint64_t irq_count;
     uint64_t last_irq_count;
     uint64_t load;
     int moved;
     struct topo_obj *assigned_obj; //中断被分配到节点对应的object
     char *name;
};

(1) 中断类型（irq_info.class）

Irqbalance根据中断所属device的pci配置空间class code把中断分成了以下8种类型字。