流量复制工具--GoReplay使用笔记

GoReplay简介

GoReplay是一款开源的用来进行http流量录制与回放的工具，因此可以通过它来进行线上真实流量录制然后将录制的流量回放到测试环境用来确认新开发的功能是否有问题，这样可以极大的提高新功能发布的信心，不得不说是一款神器。

它的Github主页如下：https://github.com/buger/goreplay

GoReplay安装

#下载包
 wget https://github.com/buger/goreplay/releases/download/v1.0.0/gor_1.0.0_x64.tar.gz
 
 #解压
 tar xvf gor_1.0.0_x64.tar.gz

流量捕获

运行如下命令:

sudo ./gor --input-raw :8000 --output-stdout

这命令表示: 监听所有活跃于开放的端口 8000, 并且将它 log 到标准输出。
这时, 你就可以在浏览器中访问 http://localhost:8000 , 或使用 curl http://localhost:8000 就可以看到它的输出了。
注意: 默认情况下, GoReplay 不会跟踪响应, 你可以这样子开启这个功能: --output-http-track-response。

回放

sudo ./gor --input-raw :8000 --output-http="http://localhost:8001"

就可以将 8000 端口的流量, 重放到 8001 端口的服务了.

保存到文件,然后再回放

保存到文件:
sudo ./gor --input-raw :8000 --output-file=requests.gor
回放
./gor --input-file requests.gor --output-http="http://localhost:8001"

回放到多个站点

sudo ./gor --input-tcp :28020 --output-http "http://staging.com"  --output-http "http://dev.com"

分割流量

按轮询方式
sudo ./gor --input-raw :80 --output-http "http://staging.com"  --output-http "http://dev.com" --split-output true

跟踪重定向

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-redirects 2

–output-http-redirects 2 表示最多跟踪2层的重定向

HTTP 超时设置

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s

性能测试

gor --input-file "requests.gor|200%" --output-http "staging.com"

表示放大2倍速度来回放.

查看统计信息

--stats --output-http-stats

循环重放

--input-file-loop

速率限制

绝对值

gor --input-tcp :28020 --output-http "http://staging.com|10"

表示最大不超过 10 QPS

百分比

gor --input-raw :80 --output-tcp "replay.local:28020|10%"

不超过原流量的 10%

过滤请求

url 正则

# 表示只允许 /api 的请求
gor --input-raw :8080 --output-http staging.com --http-allow-url /api
# 除 /api 之外的请求
gor --input-raw :8080 --output-http staging.com --http-disallow-url /api

–http-allow-url 表示允许的url
–http-disallow-url 表示禁止

基于方法

gor --input-raw :80 --output-http "http://staging.server" --http-allow-method GET --http-allow-method OPTIONS

表示只允许 GET , OPTIONS 的请求

基于请求头

gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^1\.0\d
gor --input-raw :8080 --output-http staging.com --http-disallow-header "User-Agent: Replayed by Gor"

重写请求

gor --input-raw :8080 --output-http staging.com --http-rewrite-url /v1/user/([^\\/]+)/ping:/v2/user/$1/ping

url 参数过滤

gor --input-raw :8080 --output-http staging.com --http-set-param api_key=1

设置 HEADER

gor --input-raw :80 --output-http "http://staging.server" --http-header "User-Agent: Replayed by Gor" --http-header "Enable-Feature-X: true"

导出到 ES

./gor --input-raw :8000 --output-http http://staging.com  --output-http-elasticsearch localhost:9200/gor

Es的格式

type ESRequestResponse struct {
	ReqURL               string `json:"Req_URL"`
	ReqMethod            string `json:"Req_Method"`
	ReqUserAgent         string `json:"Req_User-Agent"`
	ReqAcceptLanguage    string `json:"Req_Accept-Language,omitempty"`
	ReqAccept            string `json:"Req_Accept,omitempty"`
	ReqAcceptEncoding    string `json:"Req_Accept-Encoding,omitempty"`
	ReqIfModifiedSince   string `json:"Req_If-Modified-Since,omitempty"`
	ReqConnection        string `json:"Req_Connection,omitempty"`
	ReqCookies           string `json:"Req_Cookies,omitempty"`
	RespStatus           string `json:"Resp_Status"`
	RespStatusCode       string `json:"Resp_Status-Code"`
	RespProto            string `json:"Resp_Proto,omitempty"`
	RespContentLength    string `json:"Resp_Content-Length,omitempty"`
	RespContentType      string `json:"Resp_Content-Type,omitempty"`
	RespTransferEncoding string `json:"Resp_Transfer-Encoding,omitempty"`
	RespContentEncoding  string `json:"Resp_Content-Encoding,omitempty"`
	RespExpires          string `json:"Resp_Expires,omitempty"`
	RespCacheControl     string `json:"Resp_Cache-Control,omitempty"`
	RespVary             string `json:"Resp_Vary,omitempty"`
	RespSetCookie        string `json:"Resp_Set-Cookie,omitempty"`
	Rtt                  int64  `json:"RTT"`
	Timestamp            time.Time
}

HTTPS 的支持

--input-tcp-secure --input-tcp-certificate ./cert.pem --input-tcp-certificate-key ./key.pem --output-tcp-secure

常用命令

-input-raw 抓取指定端口的流量 gor --input-raw :8080
-output-stdout 打印到控制台
-output-file 将请求写到文件中 gor --input-raw :80 --output-file ./requests.gor
-input-file 从文件中读取请求，与上一条命令呼应 gor --input-file ./requests.gor
-exit-after 5s 持续时间
-http-allow-url url白名单，其他请求将会被丢弃
-http-allow-method 根据请求方式过滤
-http-disallow-url 遇上一个url相反，黑名单，其他的请求会被捕获到

要 0.16.1 及以上版本

更多参考官方文档:https://github.com/buger/goreplay/wiki/Getting-Started
http://www.likecs.com/show-18920.html