流量回放工具

最新推荐文章于 2024-06-01 06:00:00 发布
最新推荐文章于 2024-06-01 06:00:00 发布
阅读量614 收藏
点赞数
文章标签： 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/techdashen/article/details/133913299
版权

作用


在评估某个服务可用性时，一种常见方式是采用一些压测工具(如ab/hey/jmeter/siege/wrk/locust等)压测某几个核心接口，一般看达到某个TPS/QPS时，CPU/内存等资源的水位；或者固定资源的阈值，看最高能达到的TPS/QPS。

但这样有一个问题: 对于线上服务，真实用户的请求是复杂的，如请求的接口顺序，带的参数。这很可能会影响服务真实的可用性。(如某个接口A请求方法B，在B中有一段逻辑，带的参数恰好满足时，会触发清空全部缓存，加锁等，仅仅压测某几个核心接口，对于服务稳定性的评估，是不够全面的)。

自然而然的想法是希望能mock用户真实的请求，最好还可以同比例放大。


社区已经有不少这样的流量回放工具，比较知名的有 goreplay[1]，以及滴滴的sharingan[2]。 从star数量和活跃程度上说，前者可以说稳压后者。下面以goreplay为例，演示该工具的使用。

goreplay不仅支持流量的实时放大，同时也可以缩小，进行频控等。同时也可以把请求写到到文件，进行非实时的回放和分析。

alt

(图片来自 官方仓库readme.md[3])

注: 虽然此工具用Go开发，但无需与线上项目做集成，而是作为工具，独立于用户项目之外。故而不关心用户的技术栈，Java，Python，Rust等开发的web服务，同样可用此做流量回放。



使用


官方已经有编译好的二进制包(名为gor)，无需使用者再通过源码编译。可点击 https://github.com/buger/goreplay/releases 根据相应系统下载所需版本。

另外，gor需要依赖libpcap，如果没有需要安装。不同系统的安装方式有所差异。

libpcap（Packet Capture Library）是一个用于网络数据包捕获的库。其提供了一组函数和工具，用于在计算机网络上捕获数据包并进行分析。libpcap 可以从网络接口（例如以太网、Wi-Fi）上捕获数据包，并提供了对数据包的访问、过滤、存储和分析的功能。

常用于网络监控、网络安全、网络调试和网络分析等领域。一些常见的用途包括：

  1. 网络流量分析：通过捕获网络数据包，分析网络流量的来源、目的、协议、负载等信息，以便进行网络性能优化、故障排除和安全分析。

  2. 网络安全和入侵检测：通过捕获网络数据包，检测和分析潜在的网络攻击、恶意行为和异常流量，以保护网络的安全。

  3. 网络协议开发和测试：用于开发和测试网络协议的实现，验证协议的正确性和性能。

  4. 网络流量重放和模拟：通过捕获的数据包，重放网络流量，模拟真实的网络环境，用于测试和评估网络应用、设备和系统的性能和稳定性。

以下是用 Rust Actix Web框架开发的一个简单Web服务，定义两个接口，模拟分别处理不同业务。

use actix_web::{get, web, App, HttpServer, Responder};

#[get("/hello/{name}")]
async fn greet(name: web::Path<String>) -> impl Responder {
    println!("这是接口a,开始进行各种复杂逻辑");
    format!("Hello {name}!")
}

#[get("/clear/{name}")]
async fn clear(name: web::Path<String>) -> impl Responder {
    println!("这是接口b,清空全部缓存");
    format!("Clear {name}!")
}


#[actix_web::main] // or #[tokio::main]
async fn main() -> std::io::Result<()> {
    HttpServer::new(|| {
        App::new()
        .service(greet)
        .service(clear)
    })
    .bind(("127.0.0.1", 8080))?
    .run()
    .await
}

Cargo.toml为:

[package]
name = "web-active"
version = "0.1.0"
edition = "2021"

# See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html

[dependencies]
actix-web = "4.4.0"

执行cargo run

请求 http://127.0.0.1:8080/hello/zhangsan

alt
alt

请求 http://127.0.0.1:8080/clear/cache1

alt
alt

执行 sudo gor --input-raw :8080 --output-file=my-service-request.gor

请求三次 http://127.0.0.1:8080/hello/zhangsan，两次http://127.0.0.1:8080/clear/cache1

alt
alt

停止gor，发现当前目录下多了一个my-service-request_0.gor，这就是gor借助libpcap所录制的请求文件。

alt

文件内容如下,cat my-service-request_0.gor:

1 f9e91f907f000001b4a53843 1697625311455924000 0
GET /hello/zhangsan HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Cache-Control: max-age=0
sec-ch-ua: "Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ca;q=0.7


🐵🙈🙉
1 f9f71f907f00000127af03b3 1697625311456071000 0
GET /hello/zhangsan HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Cache-Control: max-age=0
sec-ch-ua: "Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ca;q=0.7


🐵🙈🙉
1 f9f71f907f00000127af0437 1697625312448706000 0
GET /hello/zhangsan HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Cache-Control: max-age=0
sec-ch-ua: "Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ca;q=0.7


🐵🙈🙉
1 f9f71f907f00000127af04bb 1697625315970845000 0
GET /clear/cache1 HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Cache-Control: max-age=0
sec-ch-ua: "Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ca;q=0.7


🐵🙈🙉
1 f9f71f907f00000127af053d 1697625317366548000 0
GET /clear/cache1 HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Cache-Control: max-age=0
sec-ch-ua: "Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ca;q=0.7


🐵🙈🙉

停止监听8080端口的rust服务，新起一个监听9999端口的服务 (模拟用于承接流量回放请求的服务，一般可能是低峰期的线上服务地址，或者是预发地址/压测地址)

然后执行 gor --input-file my-service-request_0.gor --output-http="http://127.0.0.1:9999"

alt

这是通过文件的方式，延后回放流量。goreplay也支持实时流量回放:

sudo gor --input-raw :8080 --output-http="http://可以是一个公网ip:相应端口"

如果output后面的参数改为stdout，即 sudo gor --input-raw :8080 --output-stdout 则为实时将请求输出到终端


另外，还可以使用流量放大功能进行压测，将流量转发到多个节点，基于Header或Url参数，或基于GET/POST等进行限制等。

更多可选参数及用法可参考官方文档[4]

参考资料

[1]

goreplay: https://github.com/buger/goreplay

 [2]

sharingan: https://github.com/didi/sharingan

 [3]

官方仓库readme.md: https://github.com/buger/goreplay

 [4]

官方文档: https://github.com/buger/goreplay/wiki/

本文由 mdnice 多平台发布

techdashen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows下流量回放工具
01-29
windows下流量回放工具，亲测可用
网络流量回放工具
12-04
网络流量回放工具是一种在局域网环境中用于记录并分析网络流量的专业软件。它能够捕捉网络中的数据包，提供详尽的流量统计信息，并且具备重播这些流量的能力，这对于网络性能测试、故障排查和安全审计具有重要意义。...
自动化测试之流量回放技术
人生不怕起点低，就怕没追求
11-13 1万+
流量回放近几年一直是大家热衷讨论的话题，具体的效果智者见智。文章作者也是在技术工程领域有丰富的实践经验，推荐一看。 本篇背景是另外一同事朋友，最近在利用流量回放技术应用在服务端接口自动化测试方面，还在各部门全力推进阶段，未来效果暂且不好说，但这部分内容确实各大公司，测试技术大会等等的热词，由于我没参与但我很感兴趣，所以邀请普及一篇，后边应该还会带来实战篇，本公众号坚持原创和干货分享，欢迎长期关注，一同成长，如果你有好的实战分享也欢迎投稿。 前言 在日常的测试工作中我们或多或少总会遇到下列问题： 1）服..
流量回放平台与传统测试工具的对比分析
我先测了
06-01 883
这些工具提供了广泛的功能，较低的成本，以及丰富的学习资源和社区支持。然而，如果公司有特定的需求，如需要捕获线上真实流量或模拟高并发场景，并且具备或愿意投入相应的资源来开发和维护流量回放平台，那么开发流量回放平台也可能是一个有价值的长期投资。在实际应用中，根据项目需求、资源可用性和长期战略目标，选择合适的工具或将两者结合使用，可以实现更全面的测试覆盖，确保软件产品的性能和可靠性。开发流量回放平台与使用传统测试工具的成本比较，需要考虑多个方面，包括初始成本、维护成本、人力成本以及潜在的效益。
什么是流量回放？有哪些方案可以借鉴？
热门推荐
weixin_37512224的博客
08-24 2万+
前言 做开发的人都知道自动化测试，自动化测试不需要人为去触发一个个行为，系统自动运行测试用例。价值不言而喻，但是如果自动化测试用例的缺失部分导致系统没完整测试回归可能会给系统带来风险。 这里就是流量回放的价值：通过记录线上流量，在开发或者测试环境回放，来发现系统是否能够正常运行，降低代码变动整体系统带来的风险。 原理 参考 ...
流量回放工具：goreplay实战
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
11-08 3837
相信做性能测试的小伙伴们一定听说过流量复制回放，没听说过也没关系，我们大都是在性能测试环境完成压测任务出具性能测试报告，但是实际生产环境的接口压力流量往往和我们在性能测试环境预估的情况不完全一致，甚至出现较大差异的情况，我们如何模拟出真实的压力流量，可以借助工具，例如早期用得较多的是tcpcopy，但其缺乏过滤HTTP层能力；推荐使用另外一款工具goreplay，简称gor，其特点如下：实现HTTP请求的录制以及回放，应用场景是在线上环境录制请求，然后在测试环境进行重放。
测试人的福音：开源流量回放工具快速上手实践
伤心的辣条
08-10 1042
AREX 作为一款基于流量录制回放实现自动化回归测试的工具，很大程度上降低了测试用例编写和测试环境搭建的成本，而且作为一款开源软件，官网文档说明详细，社区活跃（群里大佬回复很及时），对新手非常友好。本篇文章主要针对 Mac 用户对 AREX 本地快速部署和上手做简要分享，作为抛砖引玉，AREX 还具有其他很多功能例如动态类 Mock 配置、开发自测、固化用例、批量运行测试用例等功能，欢迎感兴趣的朋友们自行探索。下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保100%免费】
流量回放.zip
06-13
5. **开源工具改造**："改造开源工具——流量回放工具goreplay支持压测统计"说明了如何修改现有的开源工具goreplay，使其具备压力测试统计功能，以获取更详尽的性能指标。 6. **vivo的流量回放实践**："流量录制与...
好用的流量录制回放工具
最新发布
07-04
流量回放 sudo ./goreplay --input-file="/data1/upload/80.req|100%" --input-file-loop --...
流量回放平台的探索与实践
qq_35709745的博客
11-28 2416
流量回放是系统重构、拆分、版本迭代频繁、系统复杂度较高时重要的自动化回归手段。通过采集可录制流量，在指定环境回放，再逐一对比每个调用和子调用差异来发现接口代码是否存在问题。因为线上流量大、场景全面，可以有效弥补人工评估测试范围的局限性，进而降低业务快速迭代带来的风险。降低代码变动对整体系统带来的风险；为压测平台提供拟合生产真实场景的流量；为系统重构保驾护航，加持产品高质量交付，护航产品快速迭代。
试试流量回放，不用再写烦人的自动化测试case了
人生不怕起点低，就怕没追求
11-06 1437
接触过接口自动化测试的同学都知道，我们一般要基于某种自动化测试框架，编写自动化case，编写自动化case的依据来源于接口文档，对照接口文档里面的请求参数进行人工添加接口自动化case
自动化测试之流量录制回放
人生不怕起点低，就怕没追求
07-24 1909
相信大家对“关键字驱动”和“数据驱动”这两个名词都已经很熟悉了，但是还有一些小伙伴其实对怎么定义它们还有些误解。比如前面讲的，我们把测试脚本中的数据参数化出来，放在一个文件里，是否就代表它是数据驱动了？并不是。
测试域： 流量回放-工具篇jvm-sandbox，jvm-sandbox-repeater，gs-rest-service
码农崛起
09-18 2291
jvm-sandbox-repeater是阿里在19年7月份的时候开源的流量录制回放工具，代码提供了录制回放的能力，以及一个简单的repeater-console的demo示例。github 地址：GitHub - alibaba/jvm-sandbox-repeater: A Java server-side recording and playback solution based on JVM-Sandbox。
流量录制回放工具在自动化测试领域应用探索
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
04-12 2257
流量录制回放技术可以快速将应用运行过程中产生的接口流量按照一定的过滤规则进行录制。录制的内容包括接口的请求报文以及响应报文，在录制过程中存储的报文可以随时在指定的环境上回放。流量录制回放场景，既可以应用在功能测试阶段，实现回归验证，亦可以应用在版本验证阶段，实现自动交易回归。流量录制回放技术，在简化测试案例编写、提高测试效率、增强测试场景覆盖率等方面，具有重要意义。图1 流量录制回放过程。
测试域： 流量回放-介绍篇
码农崛起
09-18 1688
对于流量回放，如果用户的期望是完全替代手工测试，我会给介绍我们能解决的场景问题和带来价值，如果用户觉得不改变他的期望，建议还是把这个用户作为长尾用户，换一个用户快速推广。只有产品的功能和用户的期望匹配，用户才觉得我们产品能带来价值，才能作为金种子用户帮助我们打磨产品，否则双方可能会基于场景不匹配有很多的沟通，平台方做了再多的努力，没有达到预期，业务方也会认为产品的成熟度不够，这样的用户推广成本较大，但是收益很低。在回放时，通过相同入参，比较线上环境和测试环境接口的出参，判断测试环境的接口代码逻辑是否异常。
软件测试学习笔记丨gor流量录制回放
Tester_muller的博客
03-11 945
GoReplay 是一个开源工具，用于捕获实时 HTTP 流量并将其重播到测试环境中，以便使用真实数据持续测试您的系统。它可用于增加对代码部署、配置更改和基础架构更改的信心。GoReplay 是一个开源的网络监控工具，可以记录您的实时流量，并将其用于跟踪、负载测试、监控和详细分析。GoReplay 是一种创新的开源解决方案，它允许您捕获现有用户的活动并将其重新用于测试您的应用程序。使用 GoReplay，您可以执行跟踪、负载测试或详细分析和监控。
流量回放：如何模拟真实网络流量进行测试
chowley的博客
02-19 863
流量回放是一种测试技术，用于模拟实际生产环境中的网络流量，并将其重新发送到系统或应用程序中。通过流量回放，我们可以重现特定时间段内的网络流量，以便评估系统在不同负载和情况下的性能、稳定性和可靠性。流量回放是一个重要的测试技术，可以帮助开发人员和测试人员评估系统的性能和稳定性，发现潜在的问题并及时解决。通过了解流量回放的基本概念和实现方式，我们可以更好地应用这一技术，提高测试效率和质量。好了，以上就是本文的全部内容，如有问题可留言讨论。
流量回放工具之 Goreplay 安装及初级使用
Mo小泽的技术博客
08-18 7116
文章目录一、Goreplay 介绍二、Golang环境安装三、Goreplay 安装四、Goreplay 使用示例1、准备 RESTful API 环境2、捕获服务器一流量保存到本地文件3、将流量从文件回放到服务器二4、将 http 的请求打印到终端5、将 http 的请求实时转发到服务器二6、压力测试五、总结 一、Goreplay 介绍 Goreplay 是用 Golang 写的一个 HTTP 实时流量复制工具。功能更强大，支持流量的放大、缩小，频率限制，还支持把请求记录到文件，方便回放和分析，也支持和
php 压测流量回放,改造开源工具——流量回放工具goreplay支持压测统计
05-25
流量回放工具goreplay是一个开源的工具，它可以用来记录和回放HTTP/HTTPS流量。如果你想要进行压测并统计结果，可以对goreplay进行一些改造。 首先，你需要安装goreplay并启动它来进行流量录制和回放。然后，你可以使用一个脚本来发送请求并记录响应时间。以下是一个示例脚本： ```bash #!/bin/bash while read line; do url=$(echo $line | cut -d ' ' -f 2) time=$(curl -o /dev/null -s -w %{time_total} $url) echo $time >> response_times.log done < urls.txt ``` 这个脚本从一个名为urls.txt的文件中读取URL，并使用curl发送请求并记录响应时间。响应时间被写入response_times.log文件中。 一旦你有了响应时间的记录，你可以使用其他工具来进行统计和分析。例如，你可以使用awk命令来计算平均响应时间： ```bash awk '{sum+=$1} END {print "Average response time: " sum/NR "s"}' response_times.log ``` 这个命令将response_times.log文件中的所有响应时间相加，然后除以记录数来计算平均响应时间。 你也可以使用其他工具，如Grafana、Prometheus和InfluxDB等来可视化和分析数据。例如，你可以使用Grafana来创建一个响应时间的实时监控面板。 改造goreplay支持压测统计是可行的，但需要一定的技术水平和时间投入。你需要了解golang和HTTP/HTTPS协议，并对goreplay的代码进行修改。如果你需要更加专业的支持，可以考虑向goreplay的开发团队寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值