java线上流量复制工具_tcpcopy复制线上流量

TCPCopy七大功能

1)分布式压力测试工具，利用在线数据，可以测试系统能够承受的压力大小(远比ab压力测试工具真实地多),也可以提前发现一些bug

2)普通上线测试，可以发现新系统是否稳定，提前发现上线过程中会出现的诸多问题，让开发者有信心上线

3)对比试验，同样请求，针对不同或不同版本程序，可以做性能对比等试验

4)流量放大功能

5)利用TCPCopy转发传统压力测试工具发出的请求，可以增加网络延迟，使其压力测试更加真实

6)热备份

7)实战演习(架构师必备)

TCPCopy的特点

1)实时 (离线通过configure --enable-offline)

2)效果真实

3)低负载，不影响在线

4)操作简单

5)分布式

6)零成本

可能会遇到的问题

王斌自己讲：要想用好 tcpcopy，需要熟悉系统知识，包括如何高效率抓包，如何定位系统瓶颈，如何部署测试应用系统，如何抓包分析。常见问题有：1)部署测试系统不到位，耦合线上系统，2)忽视系统瓶颈问题，3)不知道如何定位问题，4)资源不到位，资源紧张引发的问题 。

1)ip_conntrack

2014年6月，微博的唐福林曾说：“Tcpcopy 引流工具是线上问题排查的绝佳之选，但使用者很少有人去关注开启 tcpcopy 服务时，同时会开启 ip_conntrack 内核模块，这个模块负责追踪所有 tcp 链接的状态，而且它的内部存储有长度限制，一旦超过，所有新建链接都会失败。”

王斌则回应说：“开启 tcpcopy，自身不会去开启 ip_conntrack 内核模块。开不开启 ip_conntrack 内核模块，是用户自己决定的，跟 tcpcopy 没关系。”他还建议：“当连接数量非常多的时候，本身就应该关闭 ip_conntrack，否则严重影响性能。至于 tcpcopy，默认是从 ip 层发包的，所以也会被 ip_conntrack 干涉，文档中也有描述，其实也可以采用 --enable-dlinject 来发包，避开ip层的ip_conntrack。如果没有报“ip_conntrack: table full, dropping packet”，一般无需去操心ip_conntrack。”以及“线上连接不多的场合，开启 ip_conntrack 并没有问题。线上连接比较多的场合，最好关闭 ip_conntrack，或者对线上应用系统端口设置 NOTRACK，至少我周围的系统都是这样的，这是为性能考虑，也是一种好的运维习惯。”

2)少量丢包

如何发现 TCPCopy 丢包多还是少呢？

王斌自己称，在某些场景下，pcap 抓包丢包率会远高于 raw socket 抓包，因此最好利用 pf_ring 来辅助或者采用 raw socket 来抓包。

丢包率需要在测试环境中按照定量请求发送进行对比才能展开计算，另外还需要对日志内容进行分析，有待测试。

3)离线重放

tcpcopy 有两种工作模式：

1)实时拷贝数据包；

2)通过使用 tcpdump 等抓包生成的文件进行离线(offline)请求重放。

本次仿真测试，没有试验成功第二种工作模式，留待以后进一步研究。

4)不提取 7 层信息

会议上曾提出按域名区分拷贝流量，省得把不在本次压测范围内的工程打挂，但 tcpcopy 的原理是在 ip 层拷贝，不提取 7 层的信息，也就是说，在我们的 Nginx*4 上部署 TCPCopy，只能是将所有流量拷贝到镜像环境的 Nginx 上。反正没有配置对应的 server，或者 server 停掉，这种处理不了的流量就丢弃掉。

0x05，观测的性能指标

仿真压测时，需要记录下 Test Server 以及后端各种被压工程的性能指标。

本次压测，我们记录的指标有：

Java 工程的访问次数，响应时间，平均响应时间，调用成功或失败，Web端口连接数；

Web容器的 thread、memory 等情况；

虚拟机的 CPU-usage、Load-avg、io-usage 等；

memcached/redis 等缓存集群的命中率等；

下载及安装

1.1. 下载

需要两个工具，分别是：

tcpcopy

intercept

1.2. 工具部署

使用tcpcopy进行线上导流，通常需要 3 台服务器：

online server (运行 tcpcopy)

target server (流量从 online server 复制到此机器)

assistant server (运行 intercept)

1.3. 安装及命令使用方法

1.3.1. tcpcopy

./configure(在线导流模式)

或

./configure --offline(离线回放模式)

make

make install

在线导流方法：

tcpcopy -x localServerPort-targetServerIP:targetServerPort -s interceptServerIP

[-c ] -d

离线重放方法：

tcpcopy -x 80-192.168.44.137:80 -s 192.168.44.136 -i test.pcap -n 2

将 test.pcap 报文放大 2 倍发送给 192.168.44.137

1.3.2. intercept

cd intercept

./configure

make

make install

使用方法：

intercept -F -i

二. 测试

假设我们 3 台服务器情况分别如下：

- online server: 192.168.44.128

- target server: 192.168.44.137

- assistant server: 192.168.44.136

2.1. 运行命令

2.1.1. target server

如果是在同一网段，设置去往 online server 的响应，路由到 assistant server，可以这样指定：

route add -host onlineIP gw assistantIP

如果客户端 IP 来自于其它网段的话：

route add -net xxx.xxx.xxx.0 netmask 255.255.255.0 gw assistantIP

这里添加静态路由：

route add -net 192.168.50.0 netmask 255.255.255.0 gw 192.168.44.136

确保被测试应用程序的响应包路由到辅助测试服务器，而不是回包给 online server

2.1.2. assistant server

intercept -i eth0 -F 'tcp and src port 80' -d

intercept 过滤 eth0 网卡 80 端口的 tcp response 报文。

辅助服务器要确保没有开启路由模式，为0表示没有开启：

cat /proc/sys/net/ipv4/ip_forward

辅助服务器上的 intercept 通过 pcap 抓取测试机应用程序的响应包，将头部抽取后发送给 online server 上的 tcpcopy ，从而完成一次请求的复制。

2.1.3. online server

tcpcopy -x 80-192.168.44.137:80 -s 192.168.44.136 -c 192.168.50.x -d

将本机 80 端口数据转发给192.168.44.137:80，更改 client IP 为 192.168.50.x 之一，并从 192.168.44.136 获取 response 报文。

2.2. 查看各 server 报文情况

可以在各个 server 上使用 tcpdump 抓包查看收发报文情况

如：online server 上

tcpdump -n -i eth0 port 80 and dst host 192.168.44.137

三. 遇到的问题

3.1. 无法复制流量问题

之前在三台机器都是同网段的机器上测试，是可以成功复制流量的，但是 online server 与 target server 不在同一网段时，发现无法复制流量。

抓包发现

online ------(SYN)------> target

online

online ------(RST)------> target

解决方案

采用两台机器方案：

- online server，假设 IP 1.2.3.4

- target server，假设 IP 192.168.44.137

online server 运行：

tcpcopy -x 80-192.168.44.137:80 -s 192.168.44.137 -c 1.2.3.4 -d

online server iptables 添加下面规则

iptables -A INPUT -s 192.168.44.137 -p tcp --sport 80 -j DROP

target server 运行：

intercept -i eth0 -F 'tcp and src port 80' -d

然后可以分别在两台服务器上查看日志，如 nginx：

tail -f /usr/local/nginx/logs/access.log

参考资料:

http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html

https://www.cnblogs.com/chenny7/p/3912515.html

https://blog.csdn.net/fengfengdiandia/article/details/77776026