流量回放开源代码Java_流量回放原理

流量回放是通过日志采集再处理来获取所需要的数据

日志采集

通过logstash工具从应用容器拉取日志信息，可以根据filter、tags来筛选

数据传输

通过kafka等消息队列将获取的日志数据传输进行下一步处理

数据处理

从消息队列中消费日志数据，通过storm数据处理系统从日志信息中获取到想要的数据，比如从日志中获取接口的req

数据转存

通过hadoop\mysql\hive对处理的数据进行存储，第一轮一般是原始数据，后面可以用mapreduce再次处理，知道得到想要的数据再存储到具体的磁盘中

ELK

elasticsearch+logstash+kibana(前端开源框架)

压测

针对录制的流量进行处理，除敏、渲染、隔离、熔断，得到符合指标的流量，利用这些流量针对接口服务做压测服务，模拟线上请求

全链路压测核心点

1、流量渲染，打上特有的tag

2、日志隔离，压测的日志和生产的日志隔离

3、风险开关，流量瓶颈时设置黑白名单控制流量

4、数据隔离，影子库

全链路压测关注指标

1、用户

2、应用监控，保留现场数据

3、代码层面分析

问题：

1、可以省略线下单压测吗

2、可以随便压测吗