流量回放平台（支持http+grpc，支持pb格式）

最新推荐文章于 2024-07-24 08:22:59 发布
最新推荐文章于 2024-07-24 08:22:59 发布
阅读量2.4k 收藏 6
点赞数
文章标签： 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35233587/article/details/109536523
版权
本文介绍了自研的流量回放平台，该平台弥补了开源工具对HTTP协议和protobuf支持的不足，支持http+grpc协议，并能处理pb格式数据。文章详细讲解了平台的背景、架构、重点实现，包括流量录制、解析、请求引擎等关键环节，并提及了多线程控制和QPS管理策略。
摘要由CSDN通过智能技术生成

流量回放平台（支持http+grpc，支持pb格式）

背景

目前开源的工具例如tcpcopy、goreplay大多只支持http协议的流量回放，而且不支持pb，所以采用自研的方式。

架构图

一、整体架构：
在这里插入图片描述
二、压测引擎
在这里插入图片描述
三、流量录制推送
在这里插入图片描述

重点实现

1、流量录制：
流量录制使用tcpdump把流量保存到本地/mq中
2、流量解析：
因为有pb格式的数据。所以借助了python的 dpkt包对流量进行了解析组装，根据请求的url不同进行区分，然后放到消息队列中
在这里插入图片描述

3、请求引擎：
http：正常使用各种httpclient
grpc：1、调用服务自身grpc请求client 2、使用通用client
4、多线程处理，qps控制
开启多线程，消费消息队列数据，然后进行发压，qps通过每秒控制消息队列数据量进行控制。
5、流量回放时间时间控制：
根据设定时间，计时控制压测引擎使用时间

代码：

比较多，下次再写

Rabbit169
关注
自动化测试之流量录制回放
人生不怕起点低，就怕没追求
07-24 2034
相信大家对“关键字驱动”和“数据驱动”这两个名词都已经很熟悉了，但是还有一些小伙伴其实对怎么定义它们还有些误解。比如前面讲的，我们把测试脚本中的数据参数化出来，放在一个文件里，是否就代表它是数据驱动了？并不是。
京东自研性能追踪系统pfinder实现原理揭秘
weixin_45583158的博客
06-28 52
01引言在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！在现代软件开发过程中，性能优化和故障排查是保证应用稳定运行的关键任务之一。Java作为一种广泛使用的编程语言，其生态中涌现出了许多优秀的监控和诊断工具，诸如：SkyWalking、Zipkin等，它们帮助开发者和运维人员深入了解应用的...
【干货】流量录制回放工具：jvm-sandbox-repeater
最新发布
测试开发技术
07-24 1094
是一个基于采用Java来实现的流量录制回放工具，或者可以理解为它是一个基于Java虚拟机的插件，可以直接运行中JVM中，无需对目标应用程序进行任何修改。它可以在运行时自动拦截和记录 Java 应用程序的网络请求和响应。它是利用的字节码增强技术，对Java应用进行无侵入式的流量录制和回放。这意味着通过使用，我们可以在不修改源代码的情况下，即可轻松实现流量的录制和回放功能。总的来说，是一款功能强大、易于使用的流量录制回放工具，可以帮助开发人员或测试人员轻松地实现对网络请求的录制和回放。通过。
03京东-侯磊-从链路化压测到流量回放的平台实践.pdf
09-18
03京东-侯磊-从链路化压测到流量回放的平台实践.pdf
流量回放平台
weixin_41591628的博客
02-04 3758
流量回放 1.简介 　　流量回放系统，利用生产上现有真实流量进行镜像，原始流量依然回到生产环境的真实服务器，流量的镜像拷贝会分发到集群外的测试服务器上，在测试服务器上可以实现不同版本的功能测试，或者加压10倍进行性能压测。 流量回放系统的工作原理如下图： 原理：所使用真实的线上流量进行线下回放测试，提升研发效率、保障代码质量，进而减少事故 背景：随着微服务架构的普及和应用，一个复杂的单体服务通常会被拆分成多个小而美的微服务。微服务带来的问题：需要维护的服务数变多，服务之间RPC（远程过程调.
MoonBox：一款超实用无需代码侵入的流量录制与回放平台
easylife206的专栏
12-28 1794
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！当前互联网服务现状是调用关系复杂，服务模块多，流量复杂，业务复杂，对于测试团队构造请求成本比较高，如果还按照传统的人工构造请求参数，相对目前复杂业务场景来说太单一了。今天给大家分享一个线上流量录制和流量回放平台 -- MoonBox。项目简介Moonbox（月光宝盒）是一个无侵入的线上流量录制和流量回放平台。简单...
流量回放平台的探索与实践
qq_35709745的博客
11-28 2538
流量回放是系统重构、拆分、版本迭代频繁、系统复杂度较高时重要的自动化回归手段。通过采集可录制流量，在指定环境回放，再逐一对比每个调用和子调用差异来发现接口代码是否存在问题。因为线上流量大、场景全面，可以有效弥补人工评估测试范围的局限性，进而降低业务快速迭代带来的风险。降低代码变动对整体系统带来的风险；为压测平台提供拟合生产真实场景的流量；为系统重构保驾护航，加持产品高质量交付，护航产品快速迭代。
【流量回放探索】啄木鸟流量回放平台
zxc19854的博客
12-10 1134
本项目是基于RuoYi-Vue单应用版本流量回放引擎基于goreplay演示系统基于如果你想从录制开始体验，需要搭建演示系统newbee-mall-api-go，同时需要将gor部署在演示系统服务中，搭建kafka以便收集流量（你需要在项目中将KafkaConsumer 这个类的自动注入注释解除）相关文档准备中…如果你想直接体验平台流程，直接部署本 前后端分离项目即可，相关文档准备中…gor录制流量并发送kafka消息平台通过消费kafka提取对应的字段。
史上最靠谱Linux+QtCreator+GRPC+Demo
05-20
支持debug、release运行 2、附带grpc linux库文件 3、史上最靠谱的grpc库文件使用方法。（网上搜索方法都跑不起来，让人无语） 4、如有任何问题，可通过添加微信讨论。微信账号为个人电话，可在个人资料当中查找 5、...
史上最靠谱的VS2019+Qt+GRPC+Demo
05-20
1、完整的Hello demo，支持debug、release运行 2、附带完整的GRPC 库文件 3、本人保证没有任何编译没有任何错误。 4、如有任何问题，可通过添加微信讨论。微信账号为个人电话，可在个人资料当中查找。 5、最最重要的...
网络流量回放工具
12-04
局域网内网络流量记录仪，并可以回放之前监控的网络流量数据。
windows下流量回放工具
01-29
windows下流量回放工具，亲测可用
基于go+gin+gorm+grpc+socket开发框架.zip
05-24
【标题】：“基于Go+Gin+Gorm+gRPC+Socket开发框架”的技术解析 在现代软件开发中，选择合适的技术栈对于构建高效、可扩展的系统至关重要。本篇文章将详细探讨“基于Go+Gin+Gorm+gRPC+Socket”的开发框架，以及这些...
【Go语言实战】(21) gin+grpc+etcd 重构 grpc-todolist 项目
面向生活编程
05-20 1494
gin+grpc+etcd重构todolist项目
测试域： 流量回放-介绍篇
码农崛起
09-18 2158
对于流量回放，如果用户的期望是完全替代手工测试，我会给介绍我们能解决的场景问题和带来价值，如果用户觉得不改变他的期望，建议还是把这个用户作为长尾用户，换一个用户快速推广。只有产品的功能和用户的期望匹配，用户才觉得我们产品能带来价值，才能作为金种子用户帮助我们打磨产品，否则双方可能会基于场景不匹配有很多的沟通，平台方做了再多的努力，没有达到预期，业务方也会认为产品的成熟度不够，这样的用户推广成本较大，但是收益很低。在回放时，通过相同入参，比较线上环境和测试环境接口的出参，判断测试环境的接口代码逻辑是否异常。
流量录制回放平台探索
u013629707的博客
08-11 1429
对jvm-sandbox-repeater的一些梳理探索
流量录制与回放工具--GoReplay
热门推荐
CleverCode的博客
09-26 1万+
文章目录1 简介2 原理3 使用场景4 安装4.1 使用root用户安装(开发和测试环境)4.2 使用root用户安装（生产环境）4.3 安装其他说明5 使用5.1 抓取流量，实时终端显示5.2 抓取流量到日志文件5.2.1 录制5.3.2 回放6 其他参考资料 1 简介 简单来说就是goreplay抓取线上真实的流量，并将捕捉到的流量转发到测试服务器上。《github源码》 ： https:/...
开源流量回放平台 AREX 在携程的大规模落地实践
weixin_61124082的博客
04-02 1442
AREX 的愿景是是在需求快速迭代的同时保障质量，降低成本，提升效能。这一愿景已在携程及众多开源用户的实践中得到验证，带来了显著的业务价值。展望未来，我们将持续依托活跃的社区力量，响应并解决用户的疑问，不断优化 AREX。在此诚邀每一位开发者加入社区并试用，共同见证 AREX 的成长与进步。AREX 文档：https://docs.arextest.com/zh-Hans/docs/intro/AREX 官网：https://docs.arextest.com/
java grpc_Java + gRPC + grpc-gateway 的实践
06-09
Java + gRPC + grpc-gateway 的实践主要分为以下几个步骤： 1. 定义 proto 文件 在 proto 文件中定义需要调用的服务以及方法，同时指定请求和响应的数据类型。例如： ``` syntax = "proto3"; package example; service ExampleService { rpc ExampleMethod (ExampleRequest) returns (ExampleResponse) {} } message ExampleRequest { string example_field = 1; } message ExampleResponse { string example_field = 1; } ``` 2. 使用 protoc 编译 proto 文件 使用 protoc 编译 proto 文件，生成 Java 代码。例如： ``` protoc --java_out=./src/main/java ./example.proto ``` 3. 实现 gRPC 服务 在 Java 代码中实现定义的 gRPC 服务，例如： ``` public class ExampleServiceImpl extends ExampleServiceGrpc.ExampleServiceImplBase { @Override public void exampleMethod(ExampleRequest request, StreamObserver<ExampleResponse> responseObserver) { // 实现具体逻辑 ExampleResponse response = ExampleResponse.newBuilder().setExampleField("example").build(); responseObserver.onNext(response); responseObserver.onCompleted(); } } ``` 4. 启动 gRPC 服务器 使用 gRPC 提供的 ServerBuilder 构建 gRPC 服务器，并启动服务器。例如： ``` Server server = ServerBuilder.forPort(8080).addService(new ExampleServiceImpl()).build(); server.start(); ``` 5. 集成 grpc-gateway 使用 grpc-gateway 可以将 gRPC 服务转换为 HTTP/JSON API。在 proto 文件中添加以下内容： ``` import "google/api/annotations.proto"; service ExampleService { rpc ExampleMethod (ExampleRequest) returns (ExampleResponse) { option (google.api.http) = { post: "/example" body: "*" }; } } ``` 在 Java 代码中添加以下内容： ``` Server httpServer = ServerBuilder.forPort(8081).addService(new ExampleServiceImpl()).build(); httpServer.start(); String grpcServerUrl = "localhost:8080"; String httpServerUrl = "localhost:8081"; ProxyServerConfig proxyConfig = new ProxyServerConfig(grpcServerUrl, httpServerUrl, "/example"); HttpProxyServer httpProxyServer = new HttpProxyServer(proxyConfig); httpProxyServer.start(); ``` 6. 测试 使用 HTTP/JSON API 调用 gRPC 服务，例如： ``` POST http://localhost:8081/example Content-Type: application/json { "example_field": "example" } ``` 以上就是 Java + gRPC + grpc-gateway 的实践步骤。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值