原文地址：http://kerrigan.sinaapp.com/post-8.html
作者：Roger
1.pktgen简介：
pktgen是Linux内核里包含的一个高性能发包工具，主要用来测试网络性能。一般情况下，使用pktgen就可以满足千兆网卡的测试需要，不必花钱购买昂贵的硬件发包设备。pktgen运行在“内核态”，并不占用太多的系统资源，就可以达到非常高的发包速率。
pktgen只支持UDP发包（端口9）。因为pktgen是一个非常底层测试工具，而且一般是测试网络设备的性能，并不涉及到应用层面。如果要测试高级的网络应用的性能，请使用其它的测试工具。
推荐阅读：
pktgen官网：http://tslab.ssvl.kth.se/pktgen/
pktgen论文：www.kernel.org/doc/ols/2005/ols2005v2-pages-19-32.pdf
2.开始实验：
环境：
1 Summary: Dell R620, 2 x Intel 2.00GHz, 47.2GB / 48GB 1333MHz DDR3
2 Network: em1 (tg3): Broadcom NetXtreme BCM5720 Gigabit PCIe, d4:ae:52:7c:8d:90, 1Gb/s <full-duplex>
3 Network: em2 (tg3): Broadcom NetXtreme BCM5720 Gigabit PCIe, d4:ae:52:7c:8d:90, no carrier
4 Network: em3 (tg3): Broadcom NetXtreme BCM5720 Gigabit PCIe, d4:ae:52:7c:8d:92, 1Gb/s <full-duplex>
5 Network: em4 (tg3): Broadcom NetXtreme BCM5720 Gigabit PCIe, d4:ae:52:7c:8d:93, 1Gb/s <full-duplex>
我们只用一台服务器，采取网卡em3和em4直接用网线对接的方式，用这种最基本的测试方式学习pktgen的使用。
1 +-----------+
2 | R620 |
3 | em3 +----+
4 | | |
5 | | |
6 | em4 +----+
7 +-----------+
2.1升级内核，网卡驱动，pktgen到最新（这些非必须），但文档推荐2.6.38以上的内核，具体请读官方文档。
2.2加载pktgen内核模块。
01 [root@R620 ~]# modprobe pktgen
02 [root@R620 ~]# modinfo pktgen
03 filename: /lib/modules/2.6.39/kernel/net/core/pktgen.ko
04 version: 2.75
05 license: GPL
06 description: Packet Generator tool
07 author: Robert Olsson <robert.olsson@its.uu.se>
08 srcversion: 0F4DEF57CF501778B10F44B
09 depends:
10 vermagic: 2.6.39 SMP mod_unload modversions
11 parm: pg_count_d:Default number of packets to inject (int)
12 parm: pg_delay_d:Default delay between packets (nanoseconds) (int)
13 parm: pg_clone_skb_d:Default number of copies of the same packet (int)
14 parm: debug:Enable debugging of pktgen module (int)
加载内核模块后，我们可以看到pktgen已经在/proc文件系统里和内核线程中出现了。
01 [root@R620 ~]# ls /proc/net/pktgen/
02 em3 kpktgend_10 kpktgend_13 kpktgend_16 kpktgend_19 kpktgend_21 kpktgend_3 kpktgend_6 kpktgend_9
03 kpktgend_0 kpktgend_11 kpktgend_14 kpktgend_17 kpktgend_2 kpktgend_22 kpktgend_4 kpktgend_7 pgctrl
04 kpktgend_1 kpktgend_12 kpktgend_15 kpktgend_18 kpktgend_20 kpktgend_23 kpktgend_5 kpktgend_8 pgrx
05 [root@R620 ~]# ps ax | grep kpktgend
06 3054 ? S 12:06 [kpktgend_0]
07 3055 ? S 0:07 [kpktgend_1]
08 3056 ? S 0:07 [kpktgend_2]
09 3057 ? S 0:07 [kpktgend_3]
10 3058 ? S 0:07 [kpktgend_4]
11 3059 ? S 0:06 [kpktgend_5]
12 3060 ? S 0:07 [kpktgend_6]
13 3061 ? S 0:07 [kpktgend_7]
14 3062 ? S 0:06 [kpktgend_8]
15 3063 ? S 0:07 [kpktgend_9]
16 3064 ? S 0:07 [kpktgend_10]
17 3065 ? S 0:07 [kpktgend_11]
18 3066 ? S 0:06 [kpktgend_12]
19 3067 ? S 0:06 [kpktgend_13]
20 3068 ? S 0:05 [kpktgend_14]
21 3069 ? S 0:06 [kpktgend_15]
22 3070 ? S 0:06 [kpktgend_16]
23 3071 ? S 0:06 [kpktgend_17]
24 3072 ? S 0:06 [kpktgend_18]
25 3073 ? S 0:07 [kpktgend_19]
26 3074 ? S 0:06 [kpktgend_20]
27 3075 ? S 0:06 [kpktgend_21]
28 3076 ? S 0:07 [kpktgend_22]
29 3077 ? S 0:06 [kpktgend_23]
30 6835 pts/0 S+ 0:00 grep kpktgend
这里，每一个线程对应到一个CPU，由于我这台服务器是24核，所以有24个线程。
2.3下载pktgen的范例配置文件范本
pktgen的配置还是比较复杂的，所以官网为我们提供了比较丰富的配置文件范本，现在把它下载下来。
1 [root@R620 tmp]# mkdir pktgen
2 [root@R620 tmp]# cd pktgen
3 [root@R620 pktgen]# lftp -e mirror ftp://robur.slu.se/pub/Linux/net-development/pktgen-testing/
4 [root@R620 pktgen]# ls
5 examples old pktgen.c pktgen.c.030511 pktgen-HOWTO.txt pktgen_paper.pdf pktgen.sh TODO
pktgen.sh是我们这次用的配置文件，更多的配置文件在examples文件夹里。
2.4修改配置文件以符合我们的环境
下面我们来改改pktgen.sh，由于我用一台服务器，网卡对接，所以配置文件如下。
01 [root@R620 pktgen]# cp pktgen.sh test.sh
02 [root@R620 pktgen]# vi test.sh
03 [root@R620 pktgen]# cat test.sh
04 #!/bin/sh
05 # pktgen.conf -- Sample configuration for send on two devices on a UP system
06
07 #modprobe pktgen
08
09 function pgset() {
10 local result
11
12 echo $1 > $PGDEV
13
14 result=`cat $PGDEV | fgrep "Result: OK:"`
15 if [ "$result" = "" ]; then
16 cat $PGDEV | fgrep Result:
17 fi
18 }
19
20 function pg() {
21 echo inject > $PGDEV
22 cat $PGDEV
23 }
24
25 # On UP systems only one thread exists -- so just add devices
26 # We use eth1, eth2
27
28 echo "Adding devices to run".
29
30 PGDEV=/proc/net/pktgen/kpktgend_0
31 pgset "rem_device_all"
32 pgset "add_device em3"
33 pgset "max_before_softirq 10000"
34
35 # Configure the individual devices
36 echo "Configuring devices"
37
38 PGDEV=/proc/net/pktgen/em3
39
40 pgset "clone_skb 10000"
41 pgset "pkt_size 60"
42 pgset "src_mac D4:AE:52:7C:8D:92"
43 pgset "src_min 10.0.0.1"
44 pgset "src_max 10.255.255.255"
45 #pgset "dst 10.10.10.3"
46 pgset "dst_mac D4:AE:52:7C:8D:93"
47 pgset "count 0"
48
49 # Time to run
50
51 PGDEV=/proc/net/pktgen/pgctrl
52
53 echo "Running... ctrl^C to stop"
54
55 pgset "start"
56
57 echo "Done"
需要注意的是，配置文件里虽然写的 pgset "pkt_size 60"，但实际发包会是64byte，需要加上4字节的CRC校验位。
所以我们想测试64byte的速率，这里就写60，以此类推。
这里相当于配置了网卡3发包，网卡4收包。接下来配置网卡4中断向量表绑定关系。
1 [root@R620 pktgen]# service irqbalance stop
2 Stopping irqbalance: [FAILED]
3 [root@R620 pktgen]# echo 10 > /proc/irq/133/smp_affinity
4 [root@R620 pktgen]# echo 40 > /proc/irq/134/smp_affinity
5 [root@R620 pktgen]# echo 100 > /proc/irq/135/smp_affinity
6 [root@R620 pktgen]# echo 400 > /proc/irq/136/smp_affinity
2.5开始测试
然后执行test.sh，过个几秒后打断。因为设置了pgset "count 0" 所以无限发包。
1 [root@R620 pktgen]# sh test.sh
2 Adding devices to run.
3 Configuring devices
4 Running... ctrl^C to stop
5 ^C
6 [root@R620 pktgen]#
测试完毕，查看统计数据。
01 [root@R620 pktgen]# cat /proc/net/pktgen/em3
02 Params: count 0 min_pkt_size: 60 max_pkt_size: 60
03 frags: 0 delay: 0 clone_skb: 10000 ifname: em3
04 flows: 0 flowlen: 0
05 queue_map_min: 0 queue_map_max: 0
06 dst_min: dst_max:
07 src_min: 10.10.10.2 src_max: 10.255.255.255
08 src_mac: d4:ae:52:7c:8d:92 dst_mac: d4:ae:52:7c:8d:93
09 udp_src_min: 9 udp_src_max: 9 udp_dst_min: 9 udp_dst_max: 9
10 src_mac_count: 0 dst_mac_count: 0
11 Flags:
12 Current:
13 pkts-sofar: 72155155 errors: 0
14 started: 491707033us stopped: 540275587us idle: 545us
15 seq_num: 72155156 cur_dst_mac_offset: 0 cur_src_mac_offset: 0
16 cur_saddr: 0x32260a0a cur_daddr: 0x0
17 cur_udp_dst: 9 cur_udp_src: 9
18 cur_queue_map: 0
19 flows: 0
20 Result: OK: 48568554(c48568008+d545) usec, 72155155 (60byte,0frags)
21 1485635pps 713Mb/sec (713104800bps) errors: 0
从这里看到，64byte的包，我们发包的速率是148kpps，达到线速。我们再看看sar统计数据：
1 [root@R620 ~]# sar -n DEV 2
2 Linux 2.6.39 (R620.co3) 07/11/2012 _x86_64_ (24 CPU)
3
4 09:12:11 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
5 09:12:13 PM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
6 09:12:13 PM em1 15.50 13.50 1.60 4.09 0.00 0.00 0.50
7 09:12:13 PM em2 0.00 0.00 0.00 0.00 0.00 0.00 0.00
8 09:12:13 PM em3 0.00 1491070.50 0.00 93191.75 0.00 0.00 0.00
9 09:12:13 PM em4 1491062.00 0.00 93191.38 0.00 0.00 0.00 0.00
的确是单机发包收包一致，达到了线速。
另外，最新的pktgen也提供了一个额外的收包统计工具。需要在测试前开启，em4是收包的端口：
1 [root@R620 ~]# echo rx em4 > /proc/net/pktgen/pgrx
测试完毕后，看看这个文件。统计了每个核心的收包情况，非常直观。
01 [root@R620 pktgen]# cat /proc/net/pktgen/pgrx
02 RECEPTION STATISTICS
03 PER-CPU Stats
04 CPU 0: Rx packets: 0 Rx bytes: 0
05 CPU 1: Rx packets: 0 Rx bytes: 0
06 CPU 2: Rx packets: 0 Rx bytes: 0
07 CPU 3: Rx packets: 0 Rx bytes: 0
08 CPU 4: Rx packets: 1990624 Rx bytes: 119437440
09 Work time 5394665 us
10 Rate: 368998pps 177Mb/sec (177119342bps)
11 CPU 5: Rx packets: 0 Rx bytes: 0
12 CPU 6: Rx packets: 2041302 Rx bytes: 122478120
13 Work time 5427048 us
14 Rate: 376134pps 180Mb/sec (180544738bps)
15 CPU 7: Rx packets: 0 Rx bytes: 0
16 CPU 8: Rx packets: 2033521 Rx bytes: 122011260
17 Work time 5396417 us
18 Rate: 376827pps 180Mb/sec (180877437bps)
19 CPU 9: Rx packets: 0 Rx bytes: 0
20 CPU 10: Rx packets: 2010000 Rx bytes: 120600000
21 Work time 5376251 us
22 Rate: 373866pps 179Mb/sec (179455907bps)
23 CPU 11: Rx packets: 0 Rx bytes: 0
24 CPU 12: Rx packets: 0 Rx bytes: 0
25 CPU 13: Rx packets: 0 Rx bytes: 0
26 CPU 14: Rx packets: 0 Rx bytes: 0
27 CPU 15: Rx packets: 0 Rx bytes: 0
28 CPU 16: Rx packets: 0 Rx bytes: 0
29 CPU 17: Rx packets: 0 Rx bytes: 0
30 CPU 18: Rx packets: 0 Rx bytes: 0
31 CPU 19: Rx packets: 0 Rx bytes: 0
32 CPU 20: Rx packets: 0 Rx bytes: 0
33 CPU 21: Rx packets: 0 Rx bytes: 0
34 CPU 22: Rx packets: 0 Rx bytes: 0
35 CPU 23: Rx packets: 0 Rx bytes: 0
36
37 Global Statistics
38 Packets Rx: 8075447 Bytes Rx: 484526820
39 Work time 5427048 us
40 Rate: 1487999pps 714Mb/sec (714239962bps)
3.换一种测试方法
在现实环境中，同服务器网卡对接这种场景是见不到的，我们下面再拿一台服务器，用两台服务器两个网卡对接。
1 +-----------+ +-----------+
2 | R620 | | R720 |
3 | em3 +-----------+ em3 |
4 | | | |
5 | | | |
6 | em4 +-----------+ em4 |
7 +-----------+ +-----------+
我们使用R620 em3发包，R720 em3收包，再从R720 em4转发回 R620 em4。来测试转发性能。
配置文件：
01 [root@R620 pktgen]# cat test.sh
02 #!/bin/sh
03 # pktgen.conf -- Sample configuration for send on two devices on a UP system
04
05 #modprobe pktgen
06
07 function pgset() {
08 local result
09
10 echo $1 > $PGDEV
11
12 result=`cat $PGDEV | fgrep "Result: OK:"`
13 if [ "$result" = "" ]; then
14 cat $PGDEV | fgrep Result:
15 fi
16 }
17
18 function pg() {
19 echo inject > $PGDEV
20 cat $PGDEV
21 }
22
23 # On UP systems only one thread exists -- so just add devices
24 # We use eth1, eth2
25
26 echo "Adding devices to run".
27
28 PGDEV=/proc/net/pktgen/kpktgend_0
29 pgset "rem_device_all"
30 pgset "add_device em3"
31 pgset "max_before_softirq 10000"
32
33 # Configure the individual devices
34 echo "Configuring devices"
35
36 PGDEV=/proc/net/pktgen/em3
37
38 pgset "clone_skb 10000"
39 pgset "pkt_size 60"
40 pgset "src_mac D4:AE:52:7C:8D:92"
41 pgset "src_min 10.10.10.2"
42 #pgset "src_max 10.255.255.255"
43 pgset "dst 192.168.0.2"
44 pgset "dst_mac 24:B6:FD:F4:95:1A"
45 pgset "count 0"
46
47 #
48
49 # Time to run
50
51 PGDEV=/proc/net/pktgen/pgctrl
52
53 echo "Running... ctrl^C to stop"
54
55 pgset "start"
56
57 echo "Done"
这是发包端R620的配置，源mac和ip填写自己的em3，目标mac写对端的em3，目标ip写自己的em4，这样让R720做转发。
R620开始发包。R720 打开转发。
1 [root@r720xd-a ~]# echo 1 > /proc/sys/net/ipv4/conf/all/forwarding
R720 看看结果
1 [root@r720xd-a ~]# sar -n DEV 10
2 Linux 2.6.32-220.el6.x86_64 (r720xd-a.co3) 07/11/2012 _x86_64_ (24 CPU)
3
4 07:34:46 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
5 07:34:56 PM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
6 07:34:56 PM em1 2.50 0.60 0.75 0.07 0.00 0.00 0.50
7 07:34:56 PM em2 0.00 0.00 0.00 0.00 0.00 0.00 0.00
8 07:34:56 PM em3 1488032.20 0.00 93002.01 0.00 0.00 0.00 0.00
9 07:34:56 PM em4 0.10 1053511.30 0.11 65844.43 0.00 0.00 0.00
现在看到，R720的收包达到了148.8kpps线速，转发的包只有105kpps。丢包率30%。
可以看到很多帧对齐错误。不知道是不是因为这引起的，具体再研究。
1 [root@r720xd-a ~]# sar -n EDEV 10
2 Linux 2.6.32-220.el6.x86_64 (r720xd-a.co3) 07/11/2012 _x86_64_ (24 CPU)
3
4 07:35:45 PM IFACE rxerr/s txerr/s coll/s rxdrop/s txdrop/s txcarr/s rxfram/s rxfifo/s txfifo/s
5 07:35:55 PM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
6 07:35:55 PM em1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
7 07:35:55 PM em2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
8 07:35:55 PM em3 0.00 0.00 0.00 1.00 0.00 0.00 16268.00 0.00 0.00
9 07:35:55 PM em4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
4.关于线速的探讨
RFC 5180里有描述
01 Appendix A. Theoretical Maximum Frame Rates Reference
02
03 This appendix provides the formulas to calculate and the values for
04 the theoretical maximum frame rates for two media types: Ethernet and
05 SONET.
06
07 A.1. Ethernet
08
09 The throughput in frames per second (fps) for various Ethernet
10 interface types and for a frame size X can be calculated with the
11 following formula:
12
13 Line Rate (bps)
14 ------------------------------
15 (8bits/byte)*(X+20)bytes/frame
16
17 The 20 bytes in the formula is the sum of the preamble (8 bytes) and
18 the inter-frame gap (12 bytes). The throughput for various Ethernet
19 interface types and frame sizes:
20
21 Size 10Mb/s 100Mb/s 1000Mb/s 10000Mb/s
22 Bytes pps pps pps pps
23
24 64 14,880 148,809 1,488,095 14,880,952
25 128 8,445 84,459 844,594 8,445,945
26 256 4,528 45,289 452,898 4,528,985
27 512 2,349 23,496 234,962 2,349,624
28 1024 1,197 11,973 119,731 1,197,318
29 1280 961 9,615 96,153 961,538
30 1518 812 8,127 81,274 812,743
31 1522 810 8,106 81,063 810,635
32 2048 604 6,044 60,444 604,448
33 4096 303 3,036 30,396 303,691
34 8192 152 1,522 15,221 152,216
35 9216 135 1,353 13,534 135,339
36
37 Note: Ethernet's maximum frame rates are subject to variances due to
38 clock slop. The listed rates are theoretical maximums, and actual
39 tests should account for a +/- 100 ppm tolerance.
下面是网上找到的：
二层线速指的是交换能力，单位Gbps ;三层线速指的是包转发率，单位Mpps 。
千兆端口的包转发率是1.488Mpps ( 百兆端口为0.1488Mpps，其他类推)
1,000,000,000/8/(64+8+12) = 1,488,095pps (最小数据包的大小为64byte，8byte的前导符，12byte的帧间隙)
5.遇到的问题
1.rxfram/s在测试绑定中断的时候，绑定的CPU和rxfram/s有很大关系，对结果影响很大。怀疑是 BCM5720 这个网卡问题。需要再好好研究。
550
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
