linux4.12 bonding简介

Bonding是个啥玩意？

      Bonding模块本质上是一个虚拟的网卡驱动（network device driver），只不过并没有真实的物理网卡与之对应，而是由这个虚拟网卡去“管辖”一系列的真实的物理网卡，所以它的代码结构和一般网卡驱动的代码结构非常类似，这是共性；除此之外，它还有自己的一些特性功能，例如特别的链路状态监控机制，绑定/解除绑定等。

物理网卡的活动状态和链路状态

      在bonding模块中为每一个被绑定的物理网卡定义了两种活动状态和四种链路状态：注意，这里的链路状态和实际网卡真实的链路状态（是否故障、是否有网线连接）没有直接的关系，虽然bonding模块通过MII或者ARP侦测到实际网卡故障时也会改变自定义的链路状态值（例如从BOND_LINK_UP切换到BOND_LINK_FAIL随后切换到 BOND_LINK_DOWN状态），但是概念上应该把这两类链路状态区分开。在本文档随后的内容中，除非特别指出，“链路状态”都指bonding模块自定义的链路状态。

活动状态
* BOND_STATE_ACTIVE：处于该状态的网卡是潜在的发送数据包的候选者
* BOND_STATE_BACKUP：处于该状态的网卡在选择发送数据的网卡时被排除

链路状态
* BOND_LINK_UP：  上线状态（处于该状态的网卡是是潜在的发送数据包的候选者）
* BOND_LINK_DOWN：故障状态
* BOND_LINK_FAIL：网卡出现故障，向状态BOND_LINK_DOWN 切换中
* BOND_LINK_BACK：网卡恢复，向状态BOND_LINK_UP切换中

      一个网卡必须活动状态为BOND_STATE_ACTIVE并且链路状态为 BOND_LINK_UP，才有可能作为发送数据包的候选者，注意，这里所说的数据包并不包含ARP请求，在使用ARP链路状态监控时，一个处于BOND_LINK_BACK状态的网卡也可能发送ARP请求。

Bonding的七种工作模式

第一种：BOND_MODE_ROUNDROBIN 即：(balance-rr)Round-robin policy（平衡抡循环策略）

特点：传输数据包顺序是依次传输（即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输完毕），此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要重新要求被发送，这样网络的吞吐量就会下降。

第二种模式：BOND_MODE_ACTIVEBACKUP 即： (active-backup)Active-backup policy（主-备份策略）

特点：只有一个设备处于活动状态，当一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面看来，bond的MAC地址是唯一的，以避免switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N。

第三种模式：BOND_MODE_XOR 即：(balance-xor)XOR policy（平衡策略）

特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址 XOR 目标MAC地址)% slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力。

第四种模式：BOND_MODE_BROADCAST 即：broadcast（广播策略）

特点：在每个slave接口上传输每个数据包，此模式提供了容错能力

第五种模式：BOND_MODE_8023AD 即：(802.3ad)IEEE 802.3ad Dynamic link aggregation（IEEE802.3ad 动态链接聚合）

特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的 是，并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应 性。

第六种模式：BOND_MODE_TLB 即：(balance-tlb)Adaptive transmit load balancing（适配器传输负载均衡）

特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。

第七种模式：BOND_MODE_ALB 即：(balance-alb)Adaptive load balancing（适配器适应性负载均衡）

特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receiveload balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。

      bonding模块的所有工作模式可以分为两类：多主型工作模式和主备型工作模式，balance-rr 、broadcast、balance-xor、balance-tlb、balance-alb属于多主型工作模式而active-backup、IEEE 802.3ad动态链路聚合模式属于主备型工作模式。

      在多主型工作模式中，如果物理网卡不出现故障，所有的物理网卡都处于 BOND_STATE_ACTIVE和BOND_LINK_UP的状态下，参与数据的收发。在主备型工作模式中，如果物理网卡不出现故障，只有一块网卡（活动网卡）处于 BOND_STATE_ACTIVE和BOND_LINK_UP的状态下，负责数据的收发，而其他网卡（后备网卡）处于BOND_STATE_BACKUP 和BOND_LINK_DOWN状态下。

Bonding模块初始化流程

调用函数bond_check_params解析传入模块的参数并检查其合法性，结果放入数据结构params中。其中params是一个类型为bond_params的全局变量。

调用register_pernet_subsys注册bond_net_ops,bond_net_ops.init赋值为bond_net_init,在bond_net_init中创建/proc/net/bonding目录和/sys/class/net/bonding_masters文件。

调用bond_netlink_init注册跟用户空间通信的netlink。

调用bond_create_debugfs,创建bonding调试目录(类似proc/sysfs)。

循环调用bond_create创建bond,max_bonds表示最大的bond数量,默认为1。
调用register_netdevice_notifier注册网络事件处理函数bond_netdev_notifier。

函数调用流程如下：

绑定物理网卡流程：

bond = netdev_priv(bond_dev); 取出bond_dev的私有数据，用bond指向它。

一系列的合法性检查

检查是否当前已经绑定了物理网卡,若未绑定,则将虚拟网卡的mac设置为当前物理网卡的mac

调用bond_alloc_slave分配一个新的slave结构指针new_slave。

对申请的new_slave指针进行负值。

调用vlan_vids_add_by_dev函数维护vlan相关数据结构。

根据bond_dev工作在模式分别调用不同函数对new_slave进行设置。

调用netdev_rx_handler_register注册slave_dev->rx_handler=bond_handle_frame,用于协议栈收包处理

调用bond_master_upper_dev_link将bond信息与slave_dev关联,用于bond_handle_frame查找bond_dev。

调用bond_sysfs_slave_add在sysfs中创建bonding_slave目录

调用bond_queue_slave_event发布产生绑定成功事件。

函数调用流程如下：

Bonding数据收发

*接收数据

物理网卡收到包时,最终都会进入netif_receive_skb函数处理。
netif_receive_skb函数中会调用skb->dev->rx_handler函数指针。
skb->dev->rx_handler函数指针在物理网卡绑定时,通过netdev_rx_handler_register注册为bond_handle_frame。
bond_handle_frame函数会修改sbk->dev字段为bond虚拟网卡设备bond->dev。
继续执行netif_receive_skb后续流程。

*数据发送

bond发包函数为bond_dev_queue_xmit。
bond_dev_queue_xmit函数会修改skb->dev字段为物理网卡设备slave_dev
然后调用dev_queue_xmit进行发包。