cqmmx,2008-9-10
1、背景介绍
目前对网络稳定性影响较大的一般是链路中断、节点失效等故障,而常规的慢Hello机制检测耗时较长,且常用IGP(ISIS和OSPF)在默认配置情况下,收敛速度很慢,一般需要几十秒钟,会造成骨干电路的大量数据丢失,从而对用户的正常上网带来较大的影响。
以cisco路由器为例,默认配置情况下OSPF和ISIS路由协议的hello time和dead time参数如下:
可见,在默认配置情况下,故障时OSPF和ISIS最坏需要30秒/40秒才能完成网络重新收敛。在没有传输网络APS(automatic protection switching)保护的情况下,显然这种慢速收敛机制会大幅度降低网络的整体性能,从而降低用户可感知的网络质量。
<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
一般情况下,我们希望能在保证网络性能稳定的前提下,提供尽可能快速的流量保护机制。首先,需要明白网络的恢复周期是什么,可以用下来的图来进行简单说明:
<?xml:namespace prefix = v ns = "urn:schemas-microsoft-com:vml" />
从恢复周期图可以看出IGP的收敛时间组成,大体上分为一下几个主要部分:
①
失效链路检测时间
②
报告拓扑变化的新LSA/LSP的泛洪时间
③
各路由器的路由表计算时间(包括SPF计算时间和路由表计算及线卡FIB更新时间)
从实际情况来看,为了加快流量保护速度,IGP收敛时间的①和③两部分可以进一步优化,目前业内主要采取的优化措施是使用BFD检测、IGP快速收敛和MPLS FRR等相关技术。其中MPLS FRR超出本文讨论范围,请另外查询相关资料。
2、BFD技术简介
BFD(双向转发检测)是一个简单的“Hello”协议,主要用于对相邻转发引擎之间通道故障提供轻负荷、持续时间短的检测,并将检测结果及时通知IGP。
在很多方面,它与普通路由协议的邻居检测功能类似,一对系统在邻居间的会话通道上周期性的发送检测报文,如果超过dead time的时间内没有收到对端的hello报文,则认为链路发生故障,并发布拓扑变更信息,启动网络收敛过程。当然,为了减少负荷,系统之间的发送和接收速率需要协商。
然而,与以往的其他“Hello”检测机制相比,BFD只检测下一跳设备连接状态,具有轻负荷、灵敏度高、适应范围广的检测特点。BFD能够在系统之间的任何类型通道上进行故障检测,这些通道包括直接的物理链路、虚电路、隧道、MPLS LSP、多跳路由通道,以及非直接的通道(如跨接二层以太网)。同时正是由于BFD实现故障检测的简单、单一性,致使BFD能够专注于转发故障的快速检测,帮助网络以良好QoS实现各类业务的传输。
BFD的定位是更多的绑定到转发平面,从而脱离具体的网络协议,使网络快速检测缺陷、实现电信级倒换成为可能;加上BFD处理的低开销使得BFD具有很好的扩展性和更广的适用性。
目前BFD支持OSPF、ISIS、BGP等全部主流路由协议。当邻居关系建立后,路由器将告诉BFD协议去检测邻接连接状态。BFD检测报文在路由器的FIB表中具有高的优先级,并且通过unicast形式相互传播,可保证监测链路拥塞时也不会影响BFD报文的传送。
BFD协议可分为两种工作模式:异步模式、查询模式,另外还有一种辅助回声功能,它可以与这两种模式结合起来使用。异步模式和查询模式的本质区别在于检测的位置不同,异步模式下本端按一定的发送周期发送BFD控制报文,需要在远端检测本端系统发送的BFD控制报文;而在查询模式下检测本端发送的BFD控制报文是在本端系统进行的。
BFD已实现协议国际标准化,现在使用版本是draft-ietf-bfd-base-02.txt,目前主流网络设备已基本全部支持,并可实现不同厂家设备间协议互通。
3、IGP快速收敛技术简介
为解决IGP默认配置情况下收敛速度慢的问题,业界提出了各种解决方案,主要分为以下几部分:
1、I-SPF(Incremental SPF)
I-SPF是指增量路由计算,顾名思义它每次只对变化的一部分路由进行计算,而不是对全部路由重新计算。I-SPF除了第一次计算时需要计算全部节点外,每次只计算影响的节点,而最后生成的最短路径树(shortest path tree,SPT)与原来的算法所计算的结果相同,大大降低了CPU的占用率,提高了网络收敛速度。
2、 PRC(Partial Route Calculation)
部分路由计算PRC的原理与I-SPF相同,都是只计算变化的那一部分。但PRC不需要计算节点路径,而是根据I-SPF算出来的SPT来更新叶子(路由)。PRC和I-SPF配合使用可以将网络的收敛性能进一步提高,它是原始SPF算法的改进,所以已经代替了原有的算法。
3、LSP快速扩散
LSP(OSPF协议中叫LSA,ISIS协议中叫LSP,为简化说明,下文统一用LSP来表示)快速扩散特性改进了传统LSDB使用计时器同步方式,在收到一个或多个比较新的LSP时,在路由计算之前,先将小于指定数目的LSP扩散出去,加快LSDB的同步过程。这种方式在很大程度上可以提高整个网络的收敛速度。
4、 智能定时器
为了加快网络收敛速度,又不至因网络变化频繁造成CPU资源耗尽,传统SPF计算前默认需要等待5秒用于收集LSA/LSP信息,而且连续两次SPF计算间隔为10秒。然而通常情况下,一个正常运行的网络是稳定的,发生大量的网络变动的几率很小,路由器不会频繁的进行路由计算,所以第一次触发的时间可以设置的非常短(毫秒级)。如果拓扑变化比较频繁,智能定时器会随着计算次数的增加,间隔时间也会逐渐延长,避免占用大量的CPU资源。
Cisco路由器上用于动态计算的这种定时器的算法基于指数back-off,并采用三个独立参数来进行速度与性能的调整。与SPF智能定时器类似的还有LSA/LSP生成智能定时器。这种指数增加算法有助于快速响应,同时还可以在网络元素不稳定时确保网络稳定。
ISIS协议的命令语法如下(OSPF语法类似):
Router <?xml:namespace prefix = st1 ns = "urn:schemas-microsoft-com:office:smarttags" />isis
lsp-gen-interval A B C
spf-interval X Y Z
下图描述了各参数表示的时间关系。
以上述第一句命令为例,语法中的参数B是指路由器在检测到丢失路由邻居关系后,等待多长时间后发出一个新的LSP,以毫秒为单位。如果发生第二次状态改变,路由器等待C毫秒。如果发生第三次状态改变,路由器等待2C毫秒,然后是4C毫秒,直到到达最大值A秒。至此,如果链路状态持续反复变化,则两个LSP发出的时间为A秒。然后,如果链路保持稳定状态超过2A秒,路由器恢复到初始状态行为。
4、网络部署
为便于说明,我们假设在纯数据业务的情况下,要求网络能够达到这样的性能指标:链路中断后流量倒换时间小于300ms。
为了达到上述目的,需要进行以下几方面的优化部署工作:
l
启用BDP进行链路/节点有效性的快速检测
l
调整IGP收敛性能的相关参数,加快收敛速度
需要注意的是,对于链路失效,尽管失效链路的每端同时发出LSP,但收到其中一个LSP就足以将该链路排除在SPF计算外。而路由器在SPT计算中考虑一条新启用链路前,总是检查该链路是否由链路两端同时通告,这被称为双向连接性检查。
4.1、BFD快速检测机制配置
根据总体性能指标要求,我们希望用在链路检测上的时间不要超过指标时间的一半,即150ms,这样可设置BFD的hello报文周期为50ms,连续丢失3个报文即认为链路失效。当然,如果路由器性能支持,也可以设置BFD的hello报文周期为30ms,连续丢失5个报文即认为链路失效,这样准确程度会更高些。
不过要知道,一般来说路由器会在多个接口上同时启用BFD机制,hello报文周期越短,虽然检测精度会提高,但是对路由器性能影响也同样增大,尤其是网络核心路由器。
以ISIS路由协议为例,相关配置如下:
Cisco IOS的配置:
router isis isp
bfd all-interfaces #在接口上启用bfd检测功能
exit
int g1/1
bfd neighbor 192.168.0.1 #对端接口地址,有些设备默认可不配置本命令
bfd interval 50 min_rx 50 multiplier 3 #每50ms发送bfd报文,连续3次未收到认为链路失效
对端路由器接口配置为:
int g1/1
bfd neighbor 192.168.0.2 #对端接口地址
bfd interval 50 min_rx 50 multiplier 3 #意义同上
Cisco IOS XR的配置:
router isis isp
interface g0/11/5/5
bfd minimum-interval 50 # hello报文发送时间间隔为50ms
bfd multiplier 3 # 连续丢失3个bfd hello报文即认为链路down
bfd fast-detect ipv4 #启用
address-family ipv4
的bfd检测功能
由于我们已经在路由器接口上启用了BFD检测,因此就不需要再调整ISIS的默认hello time 和dead time数值。
4.2、ISIS快速收敛配置
前面BFD检测已经占用了150ms的时间,为了能达到业务指标要求,ISIS的收敛时间不能超过150ms。
根据平时网络监控统计数据,正常情况下SPF计算时间小于100ms(与具体网络环境有关,下同),LSP的传播时间小于20ms,各相关参数的选择不能超过上述限制。据此我们把智能定时器的各时间参数定义如下:
Cisco IOS 路由器的配置:
router isis isp
ispf level-2 #启用level 2的ispf功能
lsp-gen-interval 5 20 100 #LSP初始产生时间20ms,后续递增间隔100ms,最大间隔时间5秒。
spf-interval 5 50 200 #SPF初始时间50ms,后续递增间隔200ms,最大间隔时间5秒。
fast-flood 6 #在进行SPF计算先,先flood 6个LSP。
Cisco IOS XR的配置:
router isis isp
lsp-gen-interval initial-wait 20 secondary-wait 100 maximum-wait 5000
address-family ipv4 unicast
ispf
spf-interval initial-wait 50 secondary-wait 200 maximum-wait 5000
exit
int g0/11/5/5
lsp fast-flood threshold 6
从实际情况来看,在网络规模比较小的情况下,可以不使用PRC计算功能。
这里设置LSP初始等待20ms,主要是为了避免链路因不稳定而在短时间内产生多个LSP,从而造成SPF的多次计算,初始等待一个较短的时间可以大幅度降低这种可能性。另外,SPF计算初始等待50ms,是为了收集网络其他设备发布的LSP,获得网络内完整的LSP信息,初始时间应大于LSP初始等待时间(20ms)+ LSP在网络内的传播时间(最大20ms),这样可以保证进行SPF计算时,网络已趋于稳定。
上述部署配置中,在没有发生链路flap的情况下,ISIS收敛时间为:BFD检测时间(150ms)+ LSP初始等待时间(20ms)+ LSP传播时间(几ms)+ SPT计算时间(一般为几十ms)+FIB更新时间(一般小于十几ms)<=300ms,可以满足业务指标要求。
5、部署效果检测
5.1、BFD效果分析
BFD效果查看命令主要为
l
Show log
l
show bfd neighbors
l
show bfd neighbors x.x.x.x details
l
IOS XR命令为show bfd session detail
show log命令主要是查看端口中断后,BFD协议是否及时通知了IGP。当光缆中断后,一般来说从路由器接口检测到异常直到protocol down会经历2~3秒,如下列日志:
Sep 5 10:07:07.779:
%GRPGE-6-SYNC_LOSS: Interface GigabitEthernet4/0: Loss of Sync
Sep 5 10:07:07.779: %GRPGE-6-RX_LOS: Interface GigabitEthernet4/0: Detected RX Loss of Signal
Sep 5 10:07:09.227: %GRPGE-6-GBIC_TX_FAULT: Interface GigabitEthernet4/0: GBIC TX Fault OK
Sep 5 10:07:09.779: %LINK-3-UPDOWN: Interface GigabitEthernet4/0, changed state to down
Sep 5 10:07:09.779:
%OSPF-5-ADJCHG: Process 1, Nbr 172.16.1.6 on GigabitEthernet4/0 from FULL to DOWN, Neighbor Down: Interface down or detached
Sep 5 10:07:10.779:
%LINEPROTO-5-UPDOWN: Line protocol on Interface GigabitEthernet4/0, changed state to down
启用BFD检测后,则BFD能快速主动通知IGP发生拓扑结构变化,以便进行快速的IGP收敛计算。比如链路失效时的通知日志如下:
Sep 5 20:04:55.650 BeiJing: %CLNS-5-ADJCHANGE: ISIS: Adjacency to R1 (GigabitEthernet4/0) Down, BFD hold time expired
查看BFD邻居信息命令如下,可以看到各邻居目前状态和使用接口。
R2>show bfd neighbors
OurAddr NeighAddr LD/RD RH Holdown(mult) State Int
192.168.0.1 192.168.0.2 37/11 1 146 (3 ) Up Gi4/0
10.0.1.1 10.0.1.2 38/8 1 62 (3 ) Up Gi6/2
192.168.6.9 192.168.6.10 36/10 1 106 (3 ) Up Gi5/2
查看BFD邻居详细信息命令如下,可以看到各配置参数的细节。
R2>show bfd neighbors 192.168.0.2 details
OurAddr NeighAddr LD/RD RH Holdown(mult) State Int
192.168.0.1 192.168.0.2 37/11 1 102 (3 ) Up Gi5/1
Local Diag: 0, Demand mode: 0, Poll bit: 0
MinTxInt: 50000, MinRxInt: 50000, Multiplier: 3
Received MinRxInt: 50000, Received Multiplier: 3
Holdown (hits): 150(0), Hello (hits): 50(9815580)
Rx Count: 10056857, Rx Interval (ms) min/max/avg: 40/56/48 last: 48 ms ago
Tx Count: 9815584, Tx Interval (ms) min/max/avg: 40/64/49 last: 20 ms ago
Registered protocols: ISIS
Uptime: 5d15h
Last packet: Version: 0 - Diagnostic: 0
I Hear You bit: 1 - Demand bit: 0
Poll bit: 0 - Final bit: 0
Multiplier: 3 - Length: 24
My Discr.: 11 - Your Discr.: 37
Min tx interval: 50000 - Min rx interval: 50000
Min Echo interval: 0
查看BFD邻居的两个命令在GSR上具体显示格式不太一样,邻居的详细信息需要attach到线卡上去查看。
5.2、ISIS快速收敛效果分析
ISIS由于是ISO协议,在cisco路由器上能直接查看的信息相对较少,主要检查命令为:
l
Show isis spf-log
l
show isis lsp-log
l
show clns interface x/y
为了便于直观体现IGP快速收敛的作用,搭建一个试验网络环境如下:
在网络中全部路由器上使用默认ISIS配置,计划在R2-PE1扩展ping对端R3-P1环回地址,在测试过程中人为shutdown R3-P1的E1/1接口,这时ping会中断,等待ISIS收敛完成后,才能继续ping到对端。
(一)
ISIS默认配置测试情况
路由器接口配置为:
interface Ethernet1/1
ip address 10.0.1.6 255.255.255.252
ip router isis isp
duplex full
首先需要确定从R2-PE1扩展ping对端R3-P1环回地址的路径是否经过e1/1接口:
R2-PE1#show ip cef exact-route 9.9.0.2 9.9.0.3
9.9.0.2 -> 9.9.0.3 => IP adj out of Ethernet1/1, addr 10.0.1.5
扩展ping测试结果如下:
R2-PE1#ping ip
Target IP address: 9.9.0.3
Repeat count [5]: 300
Datagram size [100]:
Timeout in seconds [2]: 1
Extended commands [n]: y
Source address or interface: 9.9.0.2
Type of service [0]:
Set DF bit in IP header? [no]:
Validate reply data? [no]:
Data pattern [0xABCD]:
Loose, Strict, Record, Timestamp, Verbose[none]:
Sweep range of sizes [n]:
Type escape sequence to abort.
Sending 500, 100-byte ICMP Echos to 9.9.0.3, timeout is 1 seconds:
Packet sent with a source address of 9.9.0.2
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!.......!!!!!!!!!!!!!!!!!!!!!!
*Sep 10 10:48:45.655: %CLNS-5-ADJCHANGE: ISIS: Adjacency to R3-P1 (Ethernet1/1) Down, hold time expired!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!
Success rate is 98 percent (293/300), round-trip min/avg/max = 1/97/396 ms
R2-PE1#
默认配置情况下,ping测试丢包7个,收敛时间约7秒。
(二)
启用ISIS快速收敛测试情况
ISIS快速收敛参数配置如下:
router isis isp
ispf level-2
spf-interval 5 50 200
lsp-gen-interval 5 20 100
此时扩展ping测试结果为:
R2-PE1#ping ip
Target IP address: 9.9.0.3
Repeat count [5]: 300
Datagram size [100]:
Timeout in seconds [2]: 1
Extended commands [n]: y
Source address or interface: 9.9.0.2
Type of service [0]:
Set DF bit in IP header? [no]:
Validate reply data? [no]:
Data pattern [0xABCD]:
Loose, Strict, Record, Timestamp, Verbose[none]:
Sweep range of sizes [n]:
Type escape sequence to abort.
Sending 500, 100-byte ICMP Echos to 9.9.0.3, timeout is 1 seconds:
Packet sent with a source address of 9.9.0.2
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!.!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
*Sep 10 10:45:10.367: %CLNS-5-ADJCHANGE: ISIS: Adjacency to R3-P1 (Ethernet1/1) Down, hold time expired!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!
Success rate is 99 percent (299/300), round-trip min/avg/max = 4/118/484 ms
R2-PE1#
启用ISIS快速收敛,ping测试丢包1个,收敛时间约1秒。
可能有人会感到奇怪,按照这里ISIS快速收敛参数配置,收敛时间应该远小于1秒,为什么会丢包呢?然而经过多次测试,我们发现都会发生丢1个包的情况,不多也不少,是什么原因造成的呢?从设备日志中可以找到答案,如下:
*Sep 9 17:15:12.490: %LINK-5-CHANGED: Interface Ethernet1/1, changed state to administratively down
*Sep 9 17:15:13.490: %LINEPROTO-5-UPDOWN: Line protocol on Interface Ethernet1/1, changed state to down
在没有启用端口BFD检测机制的情况下,路由器端口down花费了1秒钟时间,再加上LSP触发、SPF计算时间等,总时间大于1秒小于2秒,从而造成了ping超时丢1个包。
可见,ISIS快速收敛机制的确发挥了作用,如果再配合启用BFD检测机制,是可以达到前述业务指标要求的,从而明显提高网络的稳定质量。
转载于:https://blog.51cto.com/cqmmx/98398