【Furion】JMeter+Influxdb+Grafana压测监控

最新推荐文章于 2024-08-16 11:14:39 发布
置顶 最新推荐文章于 2024-08-16 11:14:39 发布
阅读量3.1k 收藏 9
点赞数 6
分类专栏： # 性能平台 文章标签： jmeter influxdb grafana
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lluozh2015/article/details/114572275
版权

一、概述

在使用JMeter做性能测试时，需要查看压测过程中请求的响应情况，如需要实时显示20w qps的压测数据监控，接下来使用JMeter+Influxdb+Grafana方案打造压测可视化实时监控

  • 数据流程

JMeter引入Backend Listener，用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana数据源连接到Influxdb，就可以创建炫酷的可视化看板，并实时获取到测试指标数据

  • 处理流程图
    在这里插入图片描述

二、influxdb介绍

2.1 时序数据库

处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据
可以理解成它就像一个sql表，其中时间是它的主键

2.2 influxdb

一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics， loT传感器数据和实时分析数据

2.3 数据DEMO

  • 通过grafana查询
SELECT *  FROM requestsRaw  limit 10

数据：
在这里插入图片描述

  • 通过java查询
SELECT count(responseTime) as Count FROM requestsRaw GROUP BY requestName

数据：
在这里插入图片描述

2.4 名词解释

  • 与传统数据库中的名词做比较
influxDB中的名词传统数据库中的概念
database数据库
measurement数据库中的表
points表里面的一行数据
  • influxdb中独有概念

point由时间戳（time）、数据（field）、标签（tags）组成

point属性传统数据库中的概念
time每个数据记录时间，是数据库中的主索引(会自动生成)
fields各种记录值（没有索引的属性）也就是记录的值：温度， 湿度
tags各种有索引的属性：地区，海拔

三、JMeter&influxdb集成

3.1 jmeter配置

  1. 创建一个测试计划，并添加Backend Listener
  2. 设置Backend Listener中influxdb的url等信息
  3. 运行测试，等待运行一段时间
  4. 查看JMeter是否生成错误日志查看JMeter是否生成错误日志

在这里插入图片描述

字段信息

  • percentiles
    默认百分位设置为“90;95;99”，即百分位数为90％，95％和99％
  • summaryOnly
    summaryOnly=true且配置BackendListenerSamplersList时，jmeter还会发送匹配样本名称的指标

3.2 上报确认

查看fagent表中的数据

SELECT *  FROM fagent limit 100

在这里插入图片描述

确定已经将统计指标数据成功发送到influxdb

四、grafana&influxdb集成

4.1 grafana介绍

Grafana是一个开源软件，拥有丰富的指标仪表盘和图形编辑器，适用Graphite, Elasticsearch, OpenTSDB, Prometheus，InfluxDB
简单点说就是一套开源WEB可视化平台

4.2 grafana数据源配置

  • 打开页面选择配置数据源

在这里插入图片描述

在这里插入图片描述

  • 配置influxdb数据源信息

在这里插入图片描述

4.3 数据信息

  • 线程数/用户相关指标

test.minAT-Min active threads：最小活跃线程数
test.maxAT-Max active threads：最大活跃线程数
test.meanAT-Mean active threads：活跃线程数
test.startedT-Started threads：启动线程数
test.endedT-Finished threads：结束线程数

  • 响应时间指标

.ok.count：采样器的成功响应数
.h.count：每秒点击数
.ok.min：采样器成功最短响应时间
.ok.max：采样器成功最长响应时间
.ok.avg：采样器成功平均响应时间
.ok.pct：采样器成功响应百分比
.ko.count：采样器失败响应数
.ko.min：采样器失败的响应最短时间
.ko.max：采样称失败最长响应时间
.ko.avg：采样器失败平均响应时间
.ko.pct：采样器失败响应百分比
.a.count：采样器响应数（ok.count和ko.count的总和）
.a.min：采样器最小响应时间（ok.count和ko.count的最小值）
.a.max：采样器最大响应时间（ok.count和ko.count的最大值）
.a.avg：采样器平均响应时间（ok.count和ko.count的平均值）
.a.pct：采样器响应百分比（根据和失败样本的总数计算）

4.4 导入grafana展示模版

  • 导入文件

在这里插入图片描述
在这里插入图片描述

  • 模板json

如果从零开始自己设计一个好看的Dashboard，估计大家难度较大，其实grafana官网提供丰富的模版的库，可以自己上去找然后进行二次扩展官网模版库
在这里插入图片描述

在上面找了一个对应的模板，修改后的模板json数据 influxdb_grafana_v1.0

  • 导入模板

在这里插入图片描述

4.5 数据展示

在这里插入图片描述

五、优化看板

需要展示像jmeter一样的聚合结果数据
在这里插入图片描述

5.1 数据上报

使用开源项目JMeter-InfluxDB-Writer对上报数据进行了二次开发

在这里插入图片描述

5.2 grafana配置

使用对应对的grafana配置信息，具体的json配置json数据

5.3 报告效果

在这里插入图片描述
在这里插入图片描述

六、踩坑问题

6.1 问题描述

使用开源组件JMeter-InfluxDB-Writer进行数据上报，将jar放入到jmeter的lib/ext目录下

执行后发现报错

2021-03-05 08:24:19,864 INFO o.a.j.v.b.BackendListener: Backend Listener: Starting worker with class: class rocks.nt.apm.jmeter.JMeterInfluxDBBackendListenerClient and queue capacity: 5000
2021-03-05 08:24:19,945 INFO o.a.j.v.b.BackendListener: Backend Listener: Started  worker with class: class rocks.nt.apm.jmeter.JMeterInfluxDBBackendListenerClient
2021-03-05 08:24:23,282 ERROR o.a.j.JMeter: Uncaught exception: 
java.lang.IllegalStateException: Failed calling setupTest
	at org.apache.jmeter.visualizers.backend.BackendListener.testStarted(BackendListener.java:339) ~[ApacheJMeter_components.jar:5.1.1 r1855137]
	at org.apache.jmeter.visualizers.backend.BackendListener.testStarted(BackendListener.java:292) ~[ApacheJMeter_components.jar:5.1.1 r1855137]
	at org.apache.jmeter.engine.StandardJMeterEngine.notifyTestListenersOfStart(StandardJMeterEngine.java:206) ~[ApacheJMeter_core.jar:5.2-SNAPSHOT.20190806]
	at org.apache.jmeter.engine.StandardJMeterEngine.run(StandardJMeterEngine.java:381) ~[ApacheJMeter_core.jar:5.2-SNAPSHOT.20190806]
	at java.lang.Thread.run(Thread.java:748) [?:1.8.0_211]
Caused by: java.lang.RuntimeException: <html>
<head><title>400 The plain HTTP request was sent to HTTPS port</title></head>
<body>
<center><h1>400 Bad Request</h1></center>
<center>The plain HTTP request was sent to HTTPS port</center>
<hr><center>nginx</center>
</body>
</html>

根据报错信息The plain HTTP request was sent to HTTPS port，应该是未支持https请求

6.2 查看源码

查看JMeter-InfluxDB-Writer源码中rc/main/java/rocks/nt/apm/jmeter/config/influxdb/InfluxDBConfig.java代码文件
在这里插入图片描述
在这里插入图片描述
在源码中已经增加influxHTTPScheme字段来解决这个问题，增加该字段设置，但是仍失败，为什么最新包请求https请求仍提示报错呢？

6.3 issue

查看issue，发现有issue提出对应的问题

在这里插入图片描述
此问题在另外一个issue中已经标为已解决
在这里插入图片描述

  • 解决代码

在这里插入图片描述
在这里插入图片描述

6.4 包版本

但是为何最新包打包日期在该代码提交时间之后，代码逻辑没有问题，但是为什么就是不生效呢？

解压最新的jar包

jar -xvf JMeter-InfluxDB-Writer-plugin-1.2.jar

将文件/rocks/nt/apm/jmeter/config/influxdb/InfluxDBConfig.class 拖拽到IntelliJ IDEA，IDEA自动反编译为Java文件

在这里插入图片描述
发现其实最新包并未包含最新提交的代码

其实也有人在issue中提到最新包版本的问题
在这里插入图片描述

6.5 重新打包

项目使用的是gradle方式打包，根据build.gradle文件

  • 依赖包
dependencies {
	compileOnly group: 'org.apache.jmeter', name: 'ApacheJMeter_core', version: '3.1'
	compileOnly group: 'org.apache.jmeter', name: 'ApacheJMeter_components', version: '3.1'
	compile group: 'org.influxdb', name: 'influxdb-java', version: '2.4'
}
  • 打包操作

在这里插入图片描述

  • 调用异常

可正常打包，但是打包后调用jar包，抛异常

在这里插入图片描述
说明并未将依赖文件完全打包ok

  • 问题解决

使用一种比较搓的方式，替换文件：
将解决问题的代码问题通过maven打包然后替换原打包文件的对应InfluxDBConfig.class文件

重新压缩jar包后可正常调用

  • 新jar包

其实eostermueller/JMeter-InfluxDB-Writer forked from NovatecConsulting/JMeter-InfluxDB-Writer 项目

针对修复问题的代码进行了打包，但是不晓得为什么可以打包成功

下载后重新替换lib/ext上的jar文件，可正常实现逻辑

sysu_lluozh
关注
专栏目录
JMeter-InfluxDB-Writer-plugin-1.2.zip
08-30
包含JMeter-InfluxDB-Writer-plugin、apache-jmeter-dashboard-by-ubikloadpack_rev1、jmeter-load-test_rev5、mysql-connector-java-5.1.47
JMeter-InfluxDB-Writer-plugin-1.2.jar
07-18
性能监控平台安装包--JMeter-InfluxDB-Writer-plugin-1.2.jar(真实，有效) 国外网站上太难下载了
grafana默认用户名密码_Jmeter + Grafana + InfluxDB 性能测试监控
weixin_39792472的博客
11-30 417
备注：以下内容来自 龙腾测试 - Jmeter + Grafana + InfluxDB 性能测试监控阅读目录1. 安装InfluxDB2. 配置Jmeter3. 安装`Grafana`和`influxDB`数据源配置序章前几天在群里看到大神们在讨论Jmeter + InfluxDB + Grafana监控。说起来Jmeter原生的监控确实太丑了。当年不断安慰自己说“丑一点没关系，只要能...
万字长文【Hangfire + .net 6 实现AutoTask定时任务调度平台】
最新发布
素弦的博客
08-16 488
我司是客户MES(生产制造执行系统）供应商。甲方公司有IT和运维，为了减少客制化开发成本，IT会自行开发程序、接口等，希望我司能够接入IT开发的程序，由甲方自行配置定义调度方式 频率等。本文分为成品界面展示、技术栈、数据库表设计、代码分享与讲解四个章节，篇幅较长会分多次更新，感兴趣的朋友可以点下收藏订阅持续阅读。
jmeter+influxdb+grafana压测监控
junior77的专栏
07-30 375
背景： 　　话说Jmeter原生的监控确实太丑了，听大佬们在讨论Jmeter+InfluxDb+Grafana的监控，于是，为了有一个漂亮的测试报告，就手动开始进行部署。 安装步骤： 1、influxdb下载安装： 　　[root@localhost ~]#wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.0.x86_64.rpm --no-check-certificate 　　[root@localhost ~]# r.
怎么做好数据库的压测和监测
放羊的砍柴人
01-21 1958
当我们手头有了一个可以使用的数据库之后，比较专业的做法是，对这个数据库进行一次较为基本的基准测试，而不是马上基于它进行系统开发。那么，什么叫压测呢？ 一、压测 1、压测的定义 所谓压测，就是基于一些工具模拟一个系统每秒发出一定数量的请求到数据库上去，观察它的CPU负载、磁盘IO负载、网络IO负载和内存负载等情况，测试出这个数据库在目前的机器配置下，大致的负载压力如何，性能表现如何，每秒最多可以处理多少请求。 2、压测性能指标 既然要压测，那我们应该测试哪些性能指标呢？ QPS（Query Per Seco
jmeter将统计结果写入influxdb
约会远行的专栏
09-13 5000
前提： influxdb：建议用最新的，自行选择 jmeter：版本2.13+ 假设:influxdb安装完成，没有安装可以参看之前的博文或者自行google 步骤 修改influxdb配置，开启graphite [root@test25 ~]# vim /etc/influxdb/influxdb.conf …… [[graphite]] enabled = true...
Furion 框架 — 让 .NET 开发更简单，更通用，更流行。
热门推荐
qq_38567182的博客
03-24 1万+
Furion框架-api模板创建
jmeter-grafana-influxdb整合
02-24
一个开源的Web性能检测合集，解决了Jmeter数据存储量太小（InfluxDB）及数据展示不够直观（grafana）。
基于.net6的Furion+viewui极简进销存管理系统设计源码
04-05
本资源提供了一套基于.net6的Furion+viewui极简进销存管理系统的设计源码，包含365个文件，其中包括94个C#源代码文件，93个Vue组件文件，89个JavaScript脚本文件，以及18个LESS样式文件。此外，还包括8个JSON配置...
MF00671-Furion +viewui进销存.zip
09-18
Furion+viewui进销存管理系统源码 开发语言 : C# 数据库 : SQL2014 开发工具 : VS2019 源码类型 : WebForm 注意：不带技术支持，有帮助文件，虚拟商品，发货不退，看好再拍。 源码描述： 角色权限 商品管理 销售单 ...
Furion 搭建 webapi
03-25
1、根据 Furion 框架搭建的 .net core 5.0 webapi demo 项目 2、demo 包含数据库以及创建的脚本，下载即可运行 3、EF 已经搭建配置好，如果有疑问，可以看我文章教程 4、demo中的Services和 Repository 做依赖注入已经搭建完成 5、EF 的配置 和 Services与Repository 依赖注入以及调用 可以参考
Furion Web开发框架
03-15
Furion Web开发框架是一个为了让 .NET 开发更简单，更通用，更流行的开发框架。 Furion框架特点： 全新面貌：基于 .NET5/6 平台，没有历史包袱 极少依赖：框架只依赖两个第三方包 极易入门：只需要一个 Inject() 即可完成配置 极速开发：内置丰富的企业应用开发功能 极其灵活：轻松面对多变复杂的需求 极易维护：采用独特的架构思想，只为长久维护设计
使用.net6，基于 Furion +viewui开发的一套极简的进销存管理系统
01-21
《使用.NET6与Furion+ViewUI构建的进销存管理系统详解》 在现代企业信息化建设中，一套高效、易用的进销存管理系统是不可或缺的工具。本文将深入探讨如何利用.NET6框架，结合Furion和ViewUI技术栈，开发出一套功能...
furion_grafana_v2.1.json
03-10
influxdb_grafana_v2.1
furion_grafana_v1.0.json
03-10
influxdb_grafana_v1.0
性能技术分享|Jmeter+InfluxDB+Grafana搭建性能平台（二）
deerxiaoluaa的博客
02-03 402
Influxdb 数据库的安装配置，启动，以及常规的操作都完成了。
开发框架之Furion
liwan09的博客
04-24 6534
Furion是一个免费开源的.Net 开发通用框架，可以在Windows、Linux、Mac IOS、Docker环境下运行，动态Web Api，支持在Winform、WPF中使用项目开源地址。
【Furion】性能平台的性能问题
sysu_lluozh
06-17 1550
一、问题背景 在压测时发现QPS4.5w时无法继续提升，尝试以下操作： 扩容服务节点数 扩容中间件配置 增加单个肉鸡的并发线程数 增加肉鸡数 以上方式一通操作后，QPS仍然是4.5w左右 将服务端的逻辑简化甚至将对mysql和redis依赖逻辑注释操作qps仍然不变，此时服务链路中如SLB、Nginx等均无异常且资源使用较低，那么现在看起来很有可能客户端制约了发起的压力 在【Furion】平台架构演进 中有说明客户端的架构，因为单个客户端肉鸡的cpu等资源<30%，那么influxdb的嫌疑就比较
使用furion+sqlsugar，用最简单的方式实现单用户登录
05-27
使用 Furion 和 SqlSugar 实现单用户登录的最简单方式，可以参考以下步骤： 1. 在数据库中创建一张用户表（例如：User），用于存储用户的账号、密码等信息。 2. 在 Furion 中配置 SqlSugar，配置方式可以参考官方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sysu_lluozh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值