python locust 能压测数据库_Locust + python + influxdb + grafana 展示性能压测QPS图表

最新推荐文章于 2024-03-26 11:40:32 发布
最新推荐文章于 2024-03-26 11:40:32 发布
阅读量203 收藏
点赞数
文章标签： python locust 能压测数据库

需求

在使用locust压测的时候，如果使用web则可以查看到QPS压测过程的曲线图。而如果使用no web模式启动，则只有一些打印的日志可以查看。

那么能否将no web模式启动的locust执行过程日志转化为曲线图表呢？

如果需要将日志转化为曲线图表，那么则以下步骤：1、将locust执行任务日志序列化，方便程序读取 2、需要定时刷新获取执行日志文件，将日志信息写入数据库 3、读取数据库数据，将其进行图表化呈现。

并且还要求这个日志采集处理要足够轻量级、资源消耗小，只有在执行locust的时候才启动即可。所以，我也放弃了filebeat + logstash + Elasticsearch 或者 kafka 、redis等大型采集日志的方案。

自己定制化写一个即可。

将locust执行任务日志序列化

方式一，直接在locust源码中挂上钩子，将日志格式化写入文件

对于locust执行任务的日志序列化我尝试过直接在locust源码中挂上钩子，然后将日志进行格式化之后，再写入一个文件中。功能上是可以实现的，但是压测性能上就会大打折扣，由于locust在压测过程需要对每个压测请求都进行格式化以及写入文件，这样就很影响压测机的并发效率。

所以这种方式已经被我抛弃。

有兴趣可以参考：Matplotlib可视化查看Locust测试结果(一)

方式二，过滤locust使用no web模式下打印出来的日志

在经过多测压测测试之后，我决定直接使用locust执行过程打印的日志来生成图表。

1、首先将locust执行过程的日志写入文件中 2、通过读取执行文件的日志信息，再将其转化存储到influxdb数据库 3、最后根据influxdb数据库的数据，展示图表

在这个过程，对于locust自身的压测过程，我并没有嵌入代码去影响执行效率。而是将locust执行过程自动打印出来的信息进行二次处理而已。

这样做的好处就是不会对locust压测造成较大的性能损耗，因为大概是5秒打印一次执行日志，相信这个损耗是比较低的了。

原生的locust执行日志：

可以从图中看到，在执行locust脚本使用no web模式的时候，执行的日志默认是INFO级别的，一般我们都是这样去使用。此时，INFO的日志信息和locust压测执行结果混合在一起打印，这就让人很不开心了。所以必须将其分开。

首先确定我只需要的信息，如下：

如果压测的接口有多个，那么就会有对应的多条信息。示例如下：

Name # reqs # fails Avg Min Max | Median req/s

--------------------------------------------------------------------------------------------------------------------------------------------

GET /apis1 988 0(0.00%) 20 5 73 | 16 97.12

--------------------------------------------------------------------------------------------------------------------------------------------

GET /apis2 988 0(0.00%) 20 5 73 | 16 97.12

--------------------------------------------------------------------------------------------------------------------------------------------

Total 988 0(0.00%) 97.12

确定好了需要的数据日志信息之后，下面第一步就是可以将INFO信息和执行结果信息拆分写入不同的日志文件中。

拆分日志中的INFO信息与执行结果信息

--logfile=locust.log --loglevel=INFO 将

INFO信息写到

locust.log日志中

1>run.log 2>&1 将压测执行的结果信息写到

run.log日志中

命令执行如下：locust -f locustfile.py --no-web -c 100 -r 50 --run-time=30 --expect-slaves=2 --csv=result --host='http://127.0.0.1:8000' --logfile=locust.log --loglevel=INFO 1>run.log 2>&1

查看执行压测结果日志run.log如下：

查看执行INFO信息日志locust.log如下：

可以看到INFO信息和locust执行的压测结果已经分开日志文件存储好了。那么下面就需要想办法将执行压测结果的数据进行序列化读取，存储到influxdb中。

使用python实时读取run.log日志信息

在这里可以写一个简单的功能，如下：

在开启执行locust脚本的同时，也启动这个python脚本或者一直长时间执行。

在python脚本执行的过程期间，需要执行两个动作即可：读取日志信息，然后写入influxdb

下面直接将实现好的python代码show出来，如下：

import subprocess

import re

import os

def main():

# 实时读取日志信息

shell = 'tail -F run.log'

p = subprocess.Popen(shell, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)

for line in iter(p.stdout.readline, b''):

line = line.rstrip().decode('utf8')

# print(line)

# 正则匹配获取所有的需要参数

res = re.match(

r'^\s+(?PGET|POST)\s+(?P[\/\w\?\=\&]+)\s+(?P\d+)\s+(?P[\d\(\.\)\%]+)\s+(?P\d+)\s+(?P\d+)\s+(?P\d+)\s+(\|)\s+(?P\d+)\s+(?P[\w\.]+)$',

line)

if res:

print("method: %s, api: %s, reqs: %s, fails: %s, Avg: %s, Min: %s, Max: %s, Median: %s, QPS: %s " % (

res.group('method'), res.group('api'), res.group('reqs'), res.group('fails').split('(')[0], res.group('Avg'),

res.group('Min'), res.group('Max'), res.group('Median'), res.group('QPS')

))

# 设置需要写入influxdb的参数

method = res.group('method')

api = res.group('api')

reqs = res.group('reqs')

fails = res.group('fails').split('(')[0]

avg = res.group('Avg')

min = res.group('Min')

max = res.group('Max')

median = res.group('Median')

qps = res.group('QPS')

# 往influxdb写入数据

# 创建数据库 curl -i -XPOST http://localhost:8086/query --data-urlencode "q=CREATE DATABASE testdb"

# 插入数据

# 表名 索引 tag 字段 fields

# curl -i -XPOST 'http://localhost:8086/write?db=testdb' --data-binary 'locust,method=GET,api=/apis reqs=2099,fails=10,avg=20,min=5,max=83,median=16,qps=95.10'

database = 'testdb'

table_name = 'locust'

insert_data = "curl -i -XPOST 'http://localhost:8086/write?db=%s' --data-binary '%s,method=%s,api=%s reqs=%s,fails=%s,avg=%s,min=%s,max=%s,median=%s,qps=%s'" % (database,table_name,method,api,reqs,fails,avg,min,max,median,qps)

os.system(insert_data)

if __name__ == '__main__':

main()

此时执行的参数已经可以实时写入influxdb中了，如下：

> precision rfc3339

>

> select * from locust limit 10 tz('Asia/Shanghai')

name: locust

time api avg fails max median method min qps reqs

---- --- --- ----- --- ------ ------ --- --- ----

2019-11-21T14:59:19.040228993+08:00 /apis 16 0 43 14 GET 6 0 191

2019-11-21T14:59:21.039195477+08:00 /apis 62 0 206 55 GET 6 36 481

2019-11-21T14:59:23.059811043+08:00 /apis 151 0 1305 110 GET 6 96.2 765

2019-11-21T14:59:25.077216006+08:00 /apis 211 0 2098 160 GET 6 103.5 990

2019-11-21T14:59:27.066784427+08:00 /apis 272 0 4700 180 GET 6 110 1262

2019-11-21T14:59:29.061261969+08:00 /apis 384 0 6386 190 GET 6 126.1 1532

2019-11-21T14:59:31.079897673+08:00 /apis 395 0 9465 190 GET 6 133.4 1804

2019-11-21T14:59:33.076470655+08:00 /apis 422 0 9707 200 GET 6 132 2034

2019-11-21T14:59:35.084000478+08:00 /apis 526 0 13796 200 GET 6 127.1 2270

2019-11-21T14:59:37.102809695+08:00 /apis 574 0 15456 200 GET 6 127.5 2553

>

那么下一步只要在grafana展示图表就可以了。

Grafana设置图表

创建table图表

先创建一个table表格，如下：

将查询语句直接写入查询框中，然后选择数据库(我前面已经设置好，这里就不展示了)，最后设置查询的时间，就可以看到数据展示了。

最后修改标题，保存起来就可以了，下面再来做一个折线图。

创建折线图

同样的操作，如何需要在折线图上显示什么曲线，那就增加字段即可。在复制到grafana之前，最好在influx查询执行一下，看看能否执行成功。

我的测试执行如下：

> select "qps","avg" from locust limit 5 tz('Asia/Shanghai')

name: locust

time qps avg

---- --- ---

2019-11-21T14:59:19.040228993+08:00 0 16

2019-11-21T14:59:21.039195477+08:00 36 62

2019-11-21T14:59:23.059811043+08:00 96.2 151

2019-11-21T14:59:25.077216006+08:00 103.5 211

2019-11-21T14:59:27.066784427+08:00 110 272

>

到这里就已经实现locust执行日志的实时查看了。

效果图

最后设置一下页面自动刷新，如下：

另外，如果有不清楚influxdb和grafana安装和基本操作的，可以看看我之前写关于这两个工具的篇章：Grafana系列InfluxDB系列

weixin_39563827
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
locust 日志记录
LeonTom的博客
12-25 2041
locust 日志记录并发送至指定服务器 新建文件 locust_log.py from locust import events import logging from logging.handlers import RotatingFileHandler import pytz import datetime import os PERF_HOST = 'http://www....
python locust 能压测数据库_python locust 性能测试：HOOKS<钩子方法>
weixin_39680678的博客
12-09 172
为locust中不同类型的事件,提供的钩子方法: from locust import TaskSet, task, events, Locust from locust.clients import HttpSession import subprocess import random, traceback from common.sec_encrypt import AESEncrypt, m...
压力测试(QPS)及测试工具Locust
最新发布
Galen_xia的博客
03-26 1473
压力测试：确定接口或服务能够处理的最大请求量（吞吐量）和并发用户数，同时保持合理的响应时间和稳定性。
Python对mysql进行压测,压力测试（四）-Mysql数据库压测实操
weixin_31458015的博客
03-26 460
1、Jmeter压测实战之JDBC request压测Mysql讲解简介：讲解jdbc压测mysql相关准备工作,jar包添加，配置讲解1、Thread Group -> add -> sampler -> jdbc request2、jar包添加 mysql-connector-java-5.1.30.jar3、JDBC connection Configuration 配置...
[python运维] 使用python3制作一个mysql压测小工具！
运维少年
03-30 1634
​​0x01 argparse模块​​​ argparse是Python 标准库中推荐的命令行解析模块，他可以实现给出参数提示和接收用户输入的参数，类似linux的命令行功能：​[root@yunweisn ~]# grepUsage: grep [OPTION]... PATTERN [FILE]...Try 'grep...
python爬虫数据库压力测试_用Python脚本实现CC压力测试
weixin_39598954的博客
11-26 423
首先需要了解什么是 CC攻击 以及实现原理：HTTP Flood 的别称叫做 CC 攻击，实现 HTTP Flood 攻击并不需要控制大批的肉鸡，取而代之的是通过端口扫描程序在互联网上寻找匿名的 HTTP代理 或者 SOCKS代理。攻击者通过匿名代理伪装成正常用户来对攻击目标发起 HTTP 请求，产生大量的连接数来消耗站点资源，CC 攻击主要是针对网页的攻击。通过上面的描述，可以总结出以下几点：1...
游戏服务器压测工具locust-支持socket,websocket压测
05-11
python loust压测框架下进行开发支持websocket和socket协议的压测,可分布式测试,通信协议目前用的是skynet的sproto,有需要可以自行更换，游戏开发过程中自己开发工具可用，需懂python,相关库安装已经放到README.md中
基于python locust库实现性能测试
08-19
主要介绍了基于python locust库实现性能测试,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python的Locst压测gRPC协议的脚本
06-02
Python的Locst压测gRPC协议的脚本
python locust源码分析
09-25
关于locust的源码的分析，感觉写的还是很不错的，希望有兴趣的下载一起学习！
Python 3.6 性能测试框架Locust安装及使用方法(详解)
12-25
Python3.6 性能测试框架Locust的搭建与使用 基础 python版本：python3.6 开发工具：pycharm Locust的安装与配置 点击“File”→“setting” 点击“setting”，进入设置窗口，选择“Project Interpreter” 点击...
Python+Pytest实现压力测试详解
伤心的辣条
09-23 647
在现代Web应用程序中，性能是至关重要的。为了确保应用程序能够在高负载下正常运行，我们需要进行性能测试。本文就来用Pytest进行压力测试，希望对大家有所帮助
Python实现自定义的压力测试框架及压测分析报告
jiangyanchen0的博客
05-10 1801
用Python实现压力测试 本文章原创手写，如需转载请注明出处~ 压力测试（也称性能测试）的目的本身并不是为了查找系统功能上的bug，所以与传统的功能测试是两个完全不同的概念。 它实现的意义，是希望通过尽可能的模拟真实用户数、连接数等检查服务器或客户端在高并发的压力下是否可以持续稳定的提供良好服务。现有公认两款测试工具，jemeter（java）和locust（python）深受大家青睐。感兴趣的小伙伴自行研究。 压力测试最终结果，受多方面条件限制，所以在进行压力测试的时候，需配合检测服务器状态信息，时间允
Python 压测Mysql、Doris
健身看书环游世界
06-14 524
【代码】Python 压测Mysql、Doris。
国外大神一张图学会python-关于可以访问国外网站的浏览器的阿里云论坛用户知识和技术交流...
q6q6q的专栏
10-28 497
{"moduleinfo":{"list_count":[{"count_phone":21,"count":21}],"title":"你可能感兴趣"},"list":[{"link":"https://edu.aliyun.c...
python脚本 数据库压力测试_JMeter-简单做个压力测试-Python可以做自呀，你来做，快点!...
weixin_39709194的博客
12-03 114
接口自动化工具，瞅瞅介绍 https://www.cnblogs.com/du-hong/p/10509677.html (2019年的文章，应该还是新哈） 之前不是协助搞python么，领导准备让我试试用python写一套，可以做登录，搜索等压力测试的。然后就想着用JMeter，人家这个工具已经很成熟了，试试看，大体摸了一天，感觉还可以吧..... 这个教程足够入门了 https://...
python做数据库压力测试_GitHub - wxyBUPT/myAb: 类APACHE BENCHMARK 压力测试的Python 实现...
weixin_39558391的博客
12-18 303
myAb类APACHE BENCHMARK 压力测试的Python 实现myAb压力测试概述myAb为投递搜狐Python实习的一个在线题目，题目内容为：编写一个 ab(Apache Benchmark)的替代程序，并尽可能兼容 ab 的参数。ab程序的主要功能和参数可参考 http://mo2g.com/view/38/，下面简单的说明一下 myAb 程序的运行结果以及兼容的主要参数。例如...
Python对mysql进行压测_对单表亿级数据的简单测试
weixin_39934675的博客
02-02 420
本次对mysql做了单表亿级数据量的压测。 表的关系简单，只有两个int字段，user_id和company_id，且都增加了索引。 通过python脚本，随机向同一个表随机插入100W、500W、1000W-1E数据，并且记录了每次插入数据所耗时间。 先来看下写入数据的情况吧： python脚本次对mysql做了单表亿级数据量的压测。表的关系简单，只有两个int字段，user_id和compan...
【Python】Locust持续优化：InfluxDB与Grafana实现数据持久化与可视化分析
GDYY3721的博客
08-06 1759
在进行性能测试时，我们需要对测试结果进行监控和分析，以便于及时发现问题并进行优化。Locust在内存中维护了一个时间序列数据结构，用于存储每个事件的统计信息。这个数据结构允许我们在Charts标签页中查看不同时间点的性能指标，但是正因为Locust WebUI上展示的数据实际上是存储在内存中的。所以在Locust测试结束后，这些数据将不再可用。
使用python+locust压测ES7
07-22
你可以使用Python和Locust来进行对ES7的压测。首先，确保你已经安装了Python和Locust。 接下来，你需要安装elasticsearch-py库，它是Python与Elasticsearch进行交互的库。可以使用以下命令安装： ``` pip install elasticsearch ``` 然后，创建一个Python脚本，导入必要的模块和库： ```python from locust import HttpUser, task, between from elasticsearch import Elasticsearch class ESUser(HttpUser): wait_time = between(1, 5) def on_start(self): # 创建一个Elasticsearch客户端连接 self.client = Elasticsearch(['localhost:9200']) @task def search(self): # 定义一个搜索任务 query = { "query": { "match_all": {} } } # 发送搜索请求 response = self.client.search(index='your_index', body=query) # 打印搜索结果 print(response) ``` 在上面的代码中，我们创建了一个名为ESUser的Locust用户类。在`on_start`方法中，我们创建了一个Elasticsearch客户端连接。 然后，在`@task`装饰的`search`方法中，我们定义了一个搜索任务。你可以根据自己的需求修改查询条件。在该方法中，我们发送了一个搜索请求，并打印了搜索结果。 最后，你可以在命令行中使用Locust命令来启动压测： ``` locust -f your_script.py --host=http://localhost:9200 ``` 替换`your_script.py`为你的脚本文件名，`http://localhost:9200`为你的ES7的地址。 然后，你可以在浏览器中访问Locust的Web界面（默认为http://localhost:8089）来配置并启动压测。 注意：在进行压测之前，请确保你已经在ES7中创建了索引，并且数据已经准备好。另外，压测会对目标系统造成一定的负载，请谨慎使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值