influxdb无法实现关联表_基于Jmeter的性能压测平台实现

最新推荐文章于 2024-08-21 10:05:31 发布
最新推荐文章于 2024-08-21 10:05:31 发布
阅读量193 收藏
点赞数
文章标签： influxdb无法实现关联表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29903713/article/details/112234468
版权
42c3c4b8c60aa30e0a6e57f0fdb59b95.gif

很早就想要一套属于自己的性能压测平台，原因是使用了阿里云的性能测试PTS，就挺羡慕能有一个这样的性能测试平台，但毕竟人家的东西我们高攀不起(要钱的)，而且阿里云的性能测试平台是不支持多种协议的(比如我有一个项目要用websocket测试，结果人家就支持http压测)。

　　说到开发自己的性能测试平台，肯定想到的是Jmeter，因为开源的性能测试工具没有比它更强大的了，所以第一个想到的是怎么把它变成性能测试平台，很多人首先想到的是通过jenkins结合jmeter，我想那也只能叫调度平台，不能叫性能测试平台。通过对Jmeter和Java快速开发框架的深入了解，我发现做一个自己的性能压测平台是可行的，而且网上也有人正在做。开发的过程肯定是无限的踩坑(开源的东西就这样)，相对收获来说应该值的。以下是我针对开源的Java快速开发框架和别人实现的部分成品，再结合JMeterEngine的深入学习，梳理的平台架构：

d2303bcc1263cc69cc91b4fa2dc1bb20.png

　　以下是主要的技术选型及说明：

  • 核心框架：Spring Boot 1.5

  • 安全框架：Apache Shiro 1.3

  • 视图框架：Spring MVC 4.3

  • 持久层框架：MyBatis 3.3

  • 定时器：Quartz 2.3

  • 数据库连接池：Druid 1.0 (阿里开源)

  • 日志管理：SLF4J 1.7、Log4j

  • 页面交互：Vue2.x

  • 前端监控：ECharts 3.8

  • 压测内核(即JMeterEngine)：Apache JMeter 4.0

  • 脚本调用内核：Apache Commons Exec 1.3

  • 远程执行命令：Ganymed build210

　　选用的快速框架是经量级的，而且是方便快速部署的：

　　【renren-fast开发框架】，具体可以上网获取：https://www.renren.io/guide/

性能测试平台的项目结构

stress-test

├─doc  项目SQL语句

│

├─common 公共模块

│  ├─aspect 系统日志

│  ├─exception 异常处理

│  ├─validator 后台校验

│  └─xss XSS过滤

│

├─config 配置信息

│

├─modules 功能模块

│  ├─api API接口模块(APP调用)

│  ├─job 定时任务模块

│  ├─oss 文件服务模块

│  ├─sys 权限模块

│  └─test 压测模块

│

├─RenrenApplication 项目启动类

│

├──resources

│  ├─mapper SQL对应的XML文件

│  ├─static 第三方库、插件等静态资源

│  ├─views  项目静态页面

│  └─application.yml 环境配置

平台已实现的部分功能

　　(1)用例管理：

8f96221b74c04a5f7797fa914f1ce78b.png

　　用例管理支持jmx脚本的上传和参数化文件及测试附件的上传，一个用例创建一个目录(脚本、参数文件、附件、测试报告都在同一用例下保存)。删除用例时会自动删除用例下所关联的脚本，并一并删除已同步到各个节点的文件。

　　(2)脚本文件管理

　　每个脚本具有启动和停止压测线程的功能(具有状态标识)，每个参数化文件或附件具有同步到各个节点的功能(同步完成后标识为同步成功)。

ba62cea057ff84c5239f9aefe2590f1d.png

　　脚本文件除了启动和停止功能，还能配置是否开启报告生成和是否开户前端监控，监控为echarts图形监控，如下：

214d4acd04a3a6f74e29439ff5b6d8b2.png

　　调用脚本进行压测的方法分为两种：

05f91d157402e5067d9a553d24371fb2.png

(3)测试报告管理

　　e58e4d9c6adcd1fa15f0ffec9ff6b7fb.png

1f2c03020dd6dc833358da10960c8d34.png

　　默认执行脚本过程中，生成了CSV报告，通过【生成报告】按钮，触发将csv报告转换成html DashBoard(这一步也是通过Commons Exec调度jmeter命令完成)：

f7bd78e725100870ee92e238cf97294f.png

(4)分布式节点管理

55a3dc3f65e01d024d28ab6dfa837fbe.png

　　分布式节点管理通过Ganymed远程执行linux命令，来启动或是停止各节点的Jmeter-server，启动命令格式如下：

//启动节点

String enableResult = ssh2Util.runCommand(

"cd " + slave.getHomeDir() + "/bin/testCases/" + "\n" +

"sh " + "../jmeter-server -Djava.rmi.server.hostname="+slave.getIp());

　　如果是禁用节点，就是通过远程执行杀进程的命令：

ssh2Util.runCommand("ps -efww|grep -w 'jmeter-server'|grep -v grep|cut -c 9-15|xargs kill -9");

　　这种方式挺方便，省了在多台linux节点机上，手动去连接和启动jmeter(分布节点越多越显得方便快捷)。

　　另外跟原来相比，分布式节点管理增加了校准功能，就是为了解决节点因为人为因素停了，而管理端不能及时的作出判断，现在通过校准可以将后台节点的进程状态跟前台同步一次(避免进程异常关闭或错误启动)，目前不是自动校准。因为无论是实时监听端口还是定时校准，效率都不是最好的。以后可以尝试在压测过程中添加监听机制，来实时监测节点状态，而非压测时段就通过手动点击校准即可，这样会相对经济一些。

　　(5)监控扩展(Grafana+InfluxDB)

　　由于我在以前的一篇文章中写过有关Grafana+InfluxDB与Jmeter的监控(关于Jmeter长时间压测的可视化监控报告)，可以直接拿过来集成使用。集成的方式是开启Grafana的匿名登录(在defaults.ini中配置)，到官网下一个Jmeter的监控视图JSON模板导入，同时以跳转的方式将Grafana嵌入到平台的iframe中。

var URL_IP = parent.location.host;

var URL_PORT = parent.location.port;

window.location = "http://"+URL_IP.replace(":"+URL_PORT,"")+":3000/d/joulMbxmz/apache-jmeter-dashboard?orgId=1";

fbe4a76fbc925adfe45988c8839cc4bd.png

   另外可以将Grafana和InfluxDB及一键启动脚本与性能压测平台一起部署，实现在部署层面上进行集成和无缝对接使用。

　　写到这我们的性能压测平台前期部分基本介绍完了，还有些功能未开始开发，比如像阿里云PTS的压测场景配置，这比较复杂，相当于是把脚本的场景设置移到WEB界面上，另外还要结合定时器进行脚本的灵活调度(发起压测、结束压测、持续时间、测试周期等)，目前来看还没想好怎么实现。但是可以先实现线程组的在线管理：

　　(6)线程组管理

a9b543ab1909762eedb71724fd9869c5.png

　　线程组管理的原理也不复杂，就是上传脚本时，通过dom4j递归扫描Jmx脚本(本质上是xml)的节点，获取线程组的配置节点参数，保存入库，然后在界面上修改和管理，改完还可以同步回Jmx脚本(也是通过dom4j对xml进行set配置)。目前实现的管理的线程组类别包括默认的ThreadGroup、jp@gc - Stepping Thread Group、jp@gc - Ultimate Thread Group，这三种已经算最常用的了。线程组管理的目的就是免去简单的线程配置(如并发数配置、线程组禁用)还要线下设置，设置完又要上传，另外脚本的线程组配置在平台界面上也能一目了然，避免又要临时打开Jmeter工具进行查看。

　　(7)压测节点监控

0443b2e3d3fa56f58fa568c6f8324c26.png

　　既然有了分布式节点管理，那边我们也可以做到对节点的分布式监控，在Influxdb-Grafana的基础上，引入telegraf来实现；我们通过界面上，加入监控开启和停止的按钮，再结合节点上部署的一些批处理命令，来实现一键启动监控代理。

　　启动和关闭的核心代码如下：

/**

* 批量切换节点的监控状态

*/

@Override

public void updateMonitorBatchStatus(List slaveIds, Integer monitorStatus) {

String execStr="";

for (Long slaveId : slaveIds) {

StressTestSlaveEntity slave = queryObject(slaveId);

// 本机节点无需远程操作

if ("127.0.0.1".equals(slave.getIp().trim())) {

Runtime r = Runtime.getRuntime();

//执行本地操作系统命令，不关心返回结果，

Process p = null;

try {

if(OS_NAME_LC.startsWith("windows")){

if (StressTestUtils.ENABLE.equals(monitorStatus))

execStr = "cmd.exe /c \""+StressTestUtils.getJmeterHome()+"\\telegraf\\start.cmd\" -a";

else

execStr = "cmd.exe /c taskkill /im telegraf.exe /f";

}else{

if (StressTestUtils.ENABLE.equals(monitorStatus))

execStr = "sh "+StressTestUtils.getJmeterHome()+"/telegraf/startUp.sh "+slave.getSlaveName();

else

execStr = "sh "+StressTestUtils.getJmeterHome()+"/telegraf/stop.sh "+slave.getSlaveName();

}

p = r.exec(execStr);

p.waitFor();

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

} finally {

if(null!=p){

p.destroy();

p=null;

}

}

//更新数据库

slave.setMonitorStatus(monitorStatus);

update(slave);

continue;

}

//其他节点需要SSH远程连接

SSH2Utils ssh2Util = new SSH2Utils(slave.getIp(), slave.getUserName(),

slave.getPasswd(), Integer.parseInt(slave.getSshPort()));

// 避免跨系统的问题，远端由于都时linux服务器，则文件分隔符统一为/，不然同步文件会报错。

String telegrafServer = slave.getHomeDir() + "/telegraf/telegraf";

String md5Str = ssh2Util.runCommand("md5sum " + telegrafServer + " | cut -d ' ' -f1");

if (!checkMD5(md5Str)) {

throw new RRException(slave.getSlaveName() + " 监控模块出错！找不到telegraf启动文件！");

}

//如果是开启监控

if (StressTestUtils.ENABLE.equals(monitorStatus)) {

//启动监控

execStr =

"sh " + slave.getHomeDir() + "/telegraf/startUp.sh "

+ slave.getSlaveName()+" "+stressTestUtils.getLocalIp();

}else{

//禁用监控

execStr = "sh " + slave.getHomeDir() + "/telegraf/stop.sh";

}

String enableResult = ssh2Util.runCommand(execStr);

logger.error(enableResult);

if (!enableResult.contains("telegraf")) {

throw new RRException(slave.getSlaveName() + " telegraf执行失败！请先尝试在节点机命令执行");

}

//更新数据库

slave.setMonitorStatus(monitorStatus);

update(slave);

}

}

　　从代码我们也可以看出，我们将telegraf启动和配置文件都放置在jmeter节点的根目录下，这样能方便远程SSH调用，同时我们将监控平台的IP和节点名称也发送过去，并更新到telegraf.conf文件中，这样启动的telegraf进程就会将监控数据发回到我们的influxdb，并通过grafana监控到。以下是监控的效果：

ab51ac790f2a0f5cfcf7507391700835.png

　　这样我们就实现了对压测机的监控(在测试过程中不对压测机监控是不合理的，特别是CPU、内存、网络IO等，万一出现测试机的性能瓶颈由于不能及时发现就会导致无用功)，除了压测机的监控，我们可以由点及面，做出一个压测平台的监控服务平台，对被测服务端也进行监控。

　　更正说明：写这篇文章的时候，阿里云的PTS刚刚能支持原生jmeter(但前提是有项目支持你花这钱)，也就是能支持websocket的压测，具体使用说明他们也提供了教程：

https://help.aliyun.com/document_detail/93627.html?spm=5176.7946858.1219570.3.4ced572dQgCraE

383d4945512e202f046465a741a95cda.gif 推荐阅读

点击阅读☞Jmeter自动化测试中不可或缺的提升技能，你GET到了吗？

点击阅读☞用 JMeter 做接口测试的优劣浅析

点击阅读☞必备！Jmeter从菜鸟入门到进阶之路

点击阅读☞利用Jmeter做一个简单的性能测试并进行参数化设置

点击阅读☞用Jmeter做分布式测试的一些技术点……

上文内容不用于商业目的，如涉及知识产权问题，请联系小编(021-64471599-8017)。

5c7261005fcd221e63b5ae084bb58ed8.gif戳 c5859b0a31be6c781396f673cce9304d.gif 9d7a47dd395f1c9c3c58ffce686dc04a.png 爱我请给我好看! c5859b0a31be6c781396f673cce9304d.gif
[SCF+wetest+jmeter]云性能压测工具使用方案
wujianqinjian
04-10 8670
云压测背景 常规压测工具，所有请求均从本地出发，走局域网可能导致网络请求的实际效果不够真实，所以尝试引入云性能压测工具(贵)。 压测工具 腾讯wetest+SCF+jmeter 压测原理 通过本地使用jmeter调用SCF触发器的API网关，实现压力从云端进行，性能参数收集则使用wetest。 压测策略 根据1/2,4/5,9/10逐步增加SCF再wetest/SCF混合施压的施压比例，从而达到使...
基于 Jmeter 的轻量级云压测平台的原理与实现
Free355的博客
07-26 773
在进行性能测试时，我们需要确保应用程序在不同负载和压力下的表现。
stressTestPlatform:基于Jmeter实现的在线压测和管理Jmx的平台
04-28
项目说明 本项目基于renren-fast Java开发平台开发，内核基于Jmeter-Api和Jmeter脚本实现在线性能压测。 插播广告： 如果有需要，请帮忙支持一下： 互帮互助，感谢。 平台特点 友好的代码结构及注释，便于阅读及二次开发 实现前后端分离，通过token进行数据交互，前端再也不用关注后端技术 灵活的权限控制，可控制到页面或按钮，满足绝大部分的权限需求 页面交互使用Vue2.x，极大的提高了开发效率 完善的代码生成机制，可在线生成entity、xml、dao、service、html、js、sql代码，减少70%以上的开发任务 引入quartz定时任务，可动态完成任务的添加、修改、删除、暂停、恢复及日志查看等功能 引入API模板，根据token作为登录令牌，极大的方便了APP接口开发 引入Hibernate Validator校验框架，轻松实现后端校验 引入云存储服务，已
云效平台——基于jmeter的轻量级性能测试平台
weixin_34372728的博客
06-08 1007
做网站开发的同学都知道，网站的加载速度是影响用户访问的一个重要因素。如果你的网站打开速度很慢，那么你的访客很可能会流失到你的竞品平台，那么既浪费了用户推广成本，又造成了不良口碑，损失严重。所以选择使用什么样的性能测试工具，是每位做网站业务的负责人、开发测试同事都必须考虑的问题。云效性能测试平台（Galaxy）是一个基于Jmeter的性能压测平台，它集脚本...
JMeter InfluxDB2 Listener Plugin 使用教程
最新发布
gitblog_00763的博客
08-21 737
JMeter InfluxDB2 Listener Plugin 使用教程 jmeter-influxdb2-listener-pluginInflux DB v2.0 listener plugin for Apache JMeter. Provides the possibility to see the online dashboard (aggregation table, errors...
性能测试平台 - 集分布式压测、服务器资源监控、远程连接Linux于一体的平台
leeyoshinari的博客
11-21 1892
一个支持服务器资源监控、分布式压测和全链路压测的平台。
Jmeter+Grafana+InfluxDb搭建性能压测平台
沉下心,苦磨炼
06-07 616
下载influxdb镜像 docker pull influxdb:1.8 启动influxdb容器(docker run -d -p 8083:8083 -p 8086:8086 --name my_influxdb influxdb:1.8) （--name 就是把influxdb容器命名为 “my_influxdb”）启动容器后，会产生这个钥匙，要记住，后面需要用到。e95905844e9e2029de39307740643f3abb6f06b6ea7c852afe2a5be251df708c 进入i
Jmeter的性能压测平台实现
weixin_42180610的博客
10-29 639
很早就想要一套属于自己的性能压测平台，原因是使用了阿里云的性能测试PTS，就挺羡慕能有一个这样的性能测试平台，但毕竟人家的东西我们高攀不起（要钱的），而且阿里云的性能测试平台是不支持多种协议的（比如我有一个项目要用websocket测试，结果人家就支持http压测）。 说到开发自己的性能测试平台，肯定想到的是Jmeter，因为开源的性能测试工具没有比它更强大的了，所以第一个想到的...
Jmeter性能测试监控系统(Jmeter+InfluxDB+Grafana)
Coast的博客
10-17 924
Jmeterr压测实时监控系统;Jmeter、InfluxDB、Grafana组合使用
JMeter+InfluxDB+Grafana 搭建可视化性能实时监控平台
weixin_39118023的博客
05-06 2760
JMeter+InfluxDB+Grafana 搭建可视化页面
Jmeter讲解 性能测试全流程
2401_83149442的博客
03-15 1811
需要用到jdk 1.8,和jmeter ,并且需要配置jdk和jmeter的环境变量。网上教程很多 ，我就不讲这一块儿。性能测试其实就是一个三维流程，首先是x维度，即在线程组上需要加定时器，控制器，【前置处理器，配置元件，后置处理器】配置元件大部分都是在脚本中最先执行的，比如发起请求，你得先有cookie,或者加载数据等，是一个非常重要的元件。1，光标放在测试计划上，鼠标单击右键，可以看到下面的弹框。y1,负载中包含的一部分，y2，结果断言，z1报告。x1-x5:负载模拟的过程。最后是z维度，即结果监听。
snaplet-influxdb:提供从配置构建的 influxdb 连接池的 snaplet
07-09
欢迎！ snaplet-influxdb为 Haskell InfluxDB 包提供了一个方便的接口。 *注意：此代码仅使用配置中提供的一个服务器描述构建一个池。 当我开始使用它时，配置将更高级，允许您指定一个供 InfluxDB 客户端使用的服务器池。* 用法很简单，请确保您在 InfluxDB snaplet 中正确配置了连接： {-# LANGUAGE FlexibleInstances #-} {-# LANGUAGE OverloadedStrings #-} {-# LANGUAGE RecordWildCards #-} {-# LANGUAGE TemplateHaskell #-} module Main where ----------------------------------------------------------------------
如何利用Jmeter从0到1做一次完整的压测
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
01-30 281
压测，在很多项目中都有应用，是测试小伙伴必备的一项基本技能，刚好最近接手了一个小游戏的压测任务，一轮压测下来，颇有收获，赶紧记录下来，与大家分享一下，希望大家能少踩坑。
基于Jmeter的性能压测平台实现
weixin_34205076的博客
10-25 796
版权声明：本文为博主原创文章，未经博主允许不得转载。欢迎访问我的博客 https://blog.csdn.net/smooth00 很早就想要一套属于自己的性能压测平台，原因是使用了阿里云的性能测试PTS，就挺羡慕能有一个这样的性能测试平台，但毕竟人家的东西我们高攀不起（要钱的），而且阿里云的性能测试平台是不支持多种协议的（比如我有一个项...
性能测试技术笔记：如何设计一个压测平台 ？
MXB_1220的博客
04-27 383
！我个人整理了我这几年软件测试生涯整理的一些技术资料，包含：电子书，简历模块，各种工作模板，面试宝典，自学项目等。欢迎大家点击下方链接免费领取，千万不要错过哦。
全栈性能测试技术笔记(三)：如何设计一个压测平台
分享测试知识
02-08 275
前面两篇笔记介绍了如何快速上手压测项目以及压测前准备测试环境和测试数据的一些方法。
记一次性能压测
weixin_34007879的博客
02-01 264
测试团队遇到一个难题：某应用性能压测，在水平扩容后，集群TPS并没有增加。希望排查下具体原因。 症状表现如下： 应用机器为1C1G，k8s负责管理。测试同学在做性能压测时，发现 4副本和10副本的集群总TPS变化不大。 首先对压测方案进行了重新设计： 机型先调整为4C8G。单副本压测，看瓶颈。调整机型，再压基线。集群压测。数据如下： 单进程、单副本： R...
JMeter + InfluxDB2
aduocd的博客
07-02 859
使用JMeter做压力机，写入大量数据存入时序数据库InfluxDB2中，监控不同数据量等级对系统资源的使用率。
jmeter性能压测
09-21
JMeter是一种常用的性能测试工具，它可以帮助开发人员评估应用程序或网站在不同负载下的性能表现。对于性能压测，你可以使用JMeter来模拟多个用户同时访问系统，并收集各项指标，如响应时间、吞吐量和错误率等。通过这些指标，你可以评估系统在不同负载条件下的稳定性和性能表现。 为了进行JMeter性能压测，你可以按照以下步骤： 1. 安装JMeter：首先，你需要从官方网站下载并安装JMeter。 2. 创建测试计划：打开JMeter，并创建一个新的测试计划。在测试计划中，你可以添加线程组、定时器、取样器、监听器等组件，以设置并收集所需的压测数据。 3. 配置线程组：在线程组中，你可以设置并发用户数、循环次数、Ramp-Up时间等参数，以模拟真实用户的访问行为。 4. 添加取样器：取样器用于模拟用户发送请求，并收集服务器的响应数据。你可以根据需要选择合适的取样器，如HTTP请求、FTP请求等。 5. 配置监听器：监听器用于收集和显示压测结果。你可以选择适当的监听器，如查看结果树、聚合报告、图形结果等，来监控系统的性能指标。 6. 运行测试计划：在JMeter中，你可以点击“运行”按钮来执行测试计划。在执行过程中，JMeter会模拟多个并发用户发送请求，并记录和分析服务器的响应数据。 7. 分析测试结果：执行完测试计划后，你可以使用JMeter提供的各种报表和图表来分析性能测试结果。这些结果可以帮助你评估系统的性能瓶颈和优化方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值