【测试】流量复制工具之TCPCopy|记录线上真实请求

原文：https://www.jianshu.com/p/e34086c47493

流量复制（记录真实 请求数据 到文件）

把线上的真实流量引流到测试环境，模拟线上用户操作，让测试机和真实的用户交互，让测试环境在正式灰度前暴露问题，增加上线信心

流量复制的常见方案

一、基于应用层的请求复制 

优点：实现简单

缺点：

1. 请求复制从应用层开始，要穿过整个协议栈，容易抢占应用资源，如连接资源

2.测试跟实际应用耦合在一起，容易影响线上机器，也无法复制大量请求

3. 很难控制网络延迟

二、基于底层数据包的请求复制

   无需穿透整个协议栈，可以从数据链路层或者网络层做流量复制，不走tcp层，这样对线上机器的影响就会少很多

流量复制的两种类型：

1. 实时复制 ，实时的把线上流量复制到测试机

2. 离线复制，先把流量复制下来，保存在PCAP抓包文件中，然后在测试机离线回放

使用场景：

压力测试 

回归测试

线上问题重现

架构及原理：

 

TCPCOPY包括三个部分：

1. tcpcopy ：运行在【线上机器】，捕获线上请求

2. intercept： 运行在【辅助机器】，负责向tcpcopy发送响应信息。

3. 目标机器：被测机器

 

tcpcopy默认捕获网络层的包（也可以配置为捕获数据链路层的包），然后做一些必要的处理，将包发送给被测机器

tcpcopy拷贝一次流量访问的步骤如下：

①　一个客户请求到达【线上机器】；

②　拷贝IP层（或者数据链路层）的包到tcpcopy进程；

③　tcpcopy修改包的目的及源地址，发给目标测试机；

④　拷贝的包到达目标测试机；

⑤　目标测试机的应用处理【访问请求】，并返回结果给辅助机；

⑥　返回结果在辅助机的数据链路层被截获，丢弃【返回结果】的body，复制【返回结果】的ip header；

⑦　辅助机将响应header发送给线上机器的tcpcopy进程。

使用方式：

一、 实时复制流量（tcpcopy）

1. 目标机器配置路由 ，将响应包路由到辅助机

route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2

其中2.2.2.2 为辅助机， 1.1.1.0 为客户端地址

2. 辅助机捕获目标机器发来的响应包 （和抓包命令类似）

./intercept -F <filter> -i <device,>

例子：./intercept -i eth0 -F 'tcp and src port 8080' -d

捕获网卡 eth0 ，端口8080 基于tcp的包

3. 线上机器捕获包，并修改客户端地址，并把包发送给目标机器，等待辅助机发送响应包

./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,> [-c <ip range,>]

例子：

 ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -d        #全流量复制

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d  #复制20%的流量

  ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0  -n 2  -d  #复制2倍流量

二、离线复制流量（tcpdump）

使用tcpdump抓包

 tcpdump -i eth0 -w test.pcap tcp and port 80 -c 100

流量回放

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap

遇到的问题：

编译intercept程序时报错 pcap.h can not found .需要安装libpcap-dev包：

 apt-get install libpcap-dev

 

存在的问题：

1.  不支持加密协议https等 ，可以进行二次开发，但是略复杂

2.  可能会丢包：作者建议最好将三台机器部署在同一个网段，或者使用代理，可以降低丢包率

参考：

https://github.com/session-replay-tools/tcpcopy

http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html

作者：羊yang678
链接：https://www.jianshu.com/p/e34086c47493
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。