性能测试工具-Locust的使用方法

Locust介绍

Locust是一款使用Python开发的开源性能测试工具,支持分布式,可在多台主机上对系统持续发送请求,与Jmeter、LoadRunner的等压测工具使用线程的方式模拟用户请求不同,Locust是使用协程的方式模拟用户请求,协程的上下文切换是由自己控制,当一个协程执行完成后会主动让出,让另一个协程开始执行,切换是在用户态完成的,而线程切换是受系统控制,是在用户态与内核态之间切换,所以协程上下文切换的代价远比线程切换的代价小的多,因此Locust可以达到更高数量级的并发,更多介绍请查看官方文档

Locust安装

需要先安装python3.6以上版本,然后再安装Locust

pip install locust	# 安装locust
locust -V			# 查看版本
Locust文件编写

locust是通过编写python脚本进行测试的,直接看代码吧!对于单接口场景,如下所示:

TaskSet类和SequentialTaskSet类实现了虚拟用户所执行任务的调度算法,包括挑选任务、执行任务、规划执行顺序等等;HttpUser中有一个用于发送http请求的client属性,在发送请求前需先调用HttpUser类;task装饰器是为了给用户添加任务,只有带有task装饰器的方法才会发起请求;constant是设置固定等待时间

# OPLogin.py文件
import re
from locust import HttpUser,task,TaskSet,constant
# openstack登录
class MyTask(TaskSet):
    # on_start/on_stop是前置和后置操作方法,与jmeter中的setup/teardown类似,开始前后执行一次
    def on_start(self):
        self.op_url = "/dashboard/auth/login/"
        # 访问登录页面
        res = self.client.get(url=self.op_url, name="获取token")
        # 使用正则表达式在响应文档中提取动态token
        csrf = re.findall('name="csrfmiddlewaretoken" value="(.+(?=">))', res.text)
        # 将列表转为字符串,使用join方法将非字符串的格式内容都去掉,把列表中的内容都取出来,用空字符进行连接
        self.token = "".join(csrf)
        self.cookie = res.cookies
        print("********** 开始执行性能测试 **********")
        
    def on_stop(self):
        print("********** 测试结束 **********")

    @task	# @task装饰器的作用是将opLogin标记为可被调用的方法
    def opLogin(self):
        # 登录参数
        data = {
            "csrfmiddlewaretoken": self.token,  # 调用on_start中获取的token
            "region": "default",
            "username": "admin",
            "password": "0565317d22c54a97"
        }
        # 发送登录请求,url与on_start中的一样,直接调用
        resp = self.client.request(method="post",url=self.op_url,data=data,name="登录openstack")
        try:    # 断言,判断响应文本中是否包含指定内容,包含则返回“成功”,否则返回“失败”并打印异常
            assert "Instance Overview - OpenStack Dashboard" in resp.text
            print("登录成功")
        except Exception as e:
            print("登录失败,未找到【Instance Overview - OpenStack Dashboard】",e)

class OPlogin(HttpUser):
    tasks = [MyTask]				# 要执行的任务
    host = "http://192.166.66.33"   # 被测网站域名
    wait_time = constant(3)			# 请求间隔时间,每次请求间隔固定3s

对于多接口测试,也是同样的操作,在每个方法上加上task装饰器即可,task装饰器上可添加权重参数,如下所示

# CreateRES.py文件
import re
from locust import HttpUser,task,TaskSet

class MyTask(TaskSet):
    # 由于未登录无法访问创建资源,所以先直接将获取token和登录都放到on_start中
    def on_start(self):
        self.op_url = "/dashboard/auth/login/"
        # 发送获取token请求
        res = self.client.get(url=self.op_url, name="获取token")
        csrf = re.findall('name="csrfmiddlewaretoken" value="(.+(?=">))', res.text)
        self.token = "".join(csrf)
        self.cookie = res.cookies
        data = {
            "csrfmiddlewaretoken": self.token,
            "region": "default",
            "username": "admin",
            "password": "0565317d22c54a97"
        }
        # 发送登录请求
        self.client.request(method="post",url=self.op_url,data=data,name="登录openstack")
        print("********** 开始执行性能测试 **********")

    @task(6)	# (6)是可选权重参数,自定义权重占比为6
    def CreateVolume(self):
        vol_url = "/dashboard/project/volumes/create/"
        vol_data = {
            "csrfmiddlewaretoken":self.token,   # 调用on_start中获取的token
            "name":"dyd-volume",
            "volume_source_type":"no_source_type",
            "type":"iscsi",
            "size":"1",
            "availability_zone":"nova"
            }
        # 发送创建云硬盘的请求,需有cookie才能创建成功,在on_start中获取cookie后调用
        self.client.request(method="post",url=vol_url,data=vol_data,cookies=self.cookie,name="创建云硬盘")

    @task(3)	# 权重占比为3
    def CreateSecGroup(self):
        csecg_url = "/dashboard/project/security_groups/create/"
        csecg_data = {"csrfmiddlewaretoken":self.token,"name":"dyd-SecG"}
        self.client.request(method="post",url=csecg_url,data=csecg_data,name="创建安全组")

    @task
    def SecGList(self):
        secg_url = "/dashboard/project/security_groups/"
        self.client.request(method="get",url=secg_url,name="查看安全组列表")

class OPlogin(HttpUser):
    tasks = [MyTask]	
    host = "http://192.166.66.33"

对于业务流的测试,需要使用SequentialTaskSet类,可以按代码顺序由上到下执行带有task装饰器的任务

# Operflow.py文件
import re
from locust import HttpUser,task,between,SequentialTaskSet
# openstack中创建云硬盘业务流性能测试
class MyTask(SequentialTaskSet):
    @task	# 步骤一,先获取token
    def get_token(self):
        self.op_url = "/dashboard/auth/login/"
        res = self.client.get(url=self.op_url, name="获取token")
        # 使用正则表达式在响应文档中提取动态token
        csrf = re.findall('name="csrfmiddlewaretoken" value="(.+(?=">))', res.text)
        # 将列表转为字符串,使用join方法将非字符串的格式内容都去掉,把列表中的内容都取出来,用空字符进行连接
        self.token = "".join(csrf)
        self.cookie = res.cookies
        print("********** 开始执行性能测试 **********")

    @task	# 步骤二,拿到token后登录到平台
    def opLogin(self):
        data = {
            "csrfmiddlewaretoken": self.token,  # 调用on_start中获取的token
            "region": "default",
            "username": "admin",
            "password": "0565317d22c54a97"
        }
        # 发送登录请求,url与on_start中的一样,直接调用
        resp = self.client.request(method="post",url=self.op_url,data=data,name="登录openstack")
        try:    # 断言,判断响应文本中是否包含指定内容,包含则返回“成功”,否则返回“失败”并打印异常
            assert "Instance Overview - OpenStack Dashboard" in resp.text
            print("登录成功")
        except Exception as e:
            print("登录失败,未找到【Instance Overview - OpenStack Dashboard】",e)

    @task	# 步骤三,登录平台后创建资源
    def CreateVolume(self):
        vol_url = "/dashboard/project/volumes/create/"
        vol_data = {
            "csrfmiddlewaretoken":self.token,
            "name":"dyd-volume",
            "volume_source_type":"no_source_type",
            "type":"iscsi",
            "size":"1",
            "availability_zone":"nova"
            }
        # 发送创建云硬盘的请求
        self.client.request(method="post",url=vol_url,data=vol_data,cookies=self.cookie,name="创建云硬盘")

class OPlogin(HttpUser):
    tasks = [MyTask]
    host = "http://192.166.66.33"
    wait_time = between(0.5,2)      # 请求间隔时间,会在0.5~2s之间产生一个随机数作为思考时间

也可以只调用HttpUser类,通常代码量少时使用,tag装饰器是为了标记任务,可以执行指定带有某个标记的任务

# jpress.py文件
from locust import HttpUser, task, tag

class MyJPress(HttpUser):
    host = "http://192.166.66.22:8080"
    @tag("login")
    @task
    def dologin(self):
        login_url = "/user/doLogin"
        data = {"user":"admin","pwd":"123456"}
        self.client.request(method="post",data=data,url=login_url,name="登录JPress")

    @tag("details","info")
    @task
    def lkarticle(self):
        url = "/article/2"
        self.client.request(method="get",url=url,name="查看文章详情")
断言

上文中登录通过查找响应结果中是否包含关键字判断是否正确,还可以通过响应码、响应状态、响应时间等方法进行断言

from locust import HttpUser, task, tag

class MyJPress(HttpUser):
    host = "http://192.166.66.22:8080"
    
    @task
    def dologin(self):
        login_url = "/user/doLogin"
        data = {"user":"admin","pwd":"123456"}
        resp = self.client.request(method="post",data=data,url=login_url,name="登录JPress")
        if resp.status_code != 200:				# 通过状态码判断
            print("访问出错啦!暂时无法登录")
        elif resp.json()["state"] == "ok":		# 通过响应状态判断
            print("登录成功")
        elif resp.elapsed.total_seconds() > 1:	# 通过响应时长判断
            print("请求响应时间过长")
            
    @task
    def lkarticle(self):
        url = "/article/2"
        # 使用catch_response参数和with语句判断请求结果
        with self.client.request(method="get",url=url,name="查看文章详情",catch_response=True) as res:
            if "小测试" in res.text:
                res.success()
            else:
                res.failure("无法查看文章详情!")
参数化

可借助第三方库mimesisfaker进行参数化,可自动生成账号、密码、邮箱、文本、地址、日期等

pip install mimesis	# 安装mimesis库
from locust import HttpUser, task, tag
from mimesis import Text	# 导入mimesis库中的Text模块

class MyJPress(HttpUser):
    host = "http://192.166.66.22:8080"
    @task
    def dologin(self):
        login_url = "/user/doLogin"
        data = {"user":"admin","pwd":"123456"}
        resp = self.client.request(method="post",data=data,url=login_url,name="登录JPress")

    @task
    def writeArt(self):
        csrf_url = "/ucenter"
        csrf = self.client.request(method="get", url=csrf_url, name="获取csrf_token")
        self.token = csrf.cookies["csrf_token"] # 提取csrf_token值
        war_url = "/ucenter/article/doWriteSave"
        art = Text("zh")
        data = {"article.edit_mode":"markdown",
                "article.title": art.color() + art.level() +"……",	# 使用mimesis生成标题
                "article.content":art.text(),	# 使用mimesis生成文章内容
                "csrf_token": self.token
                }
        resp = self.client.request(method="post",url=war_url,data=data,name="投稿文章")
Locust文件执行
GUI模式

单击压测,-f表示要执行的文件,--tags表示执行带有指定标签的任务

locust -f 路径/文件名.py	# 执行文件中所有待@task装饰器的任务
locust -f 路径/文件名.py	--tags login info	# 执行文件中标签为login、info的任务

之后在浏览器中输入IP:8089访问Web页面,输入总用户数和每秒增加用户数,因为代码中已经定义Host,Web页面会自动带入,若未定义可在命令中带上--host参数,或者直接在Web页面输入

请添加图片描述

分布式压测,使用多台主机时需指明主从机器,--master表示作为主机使用,--worker表示作为从机使用,--master-host--worker一起使用,设置主机的主机名或IP,分布式压测每台机器上都要需要安装locust,而且需要将文件拷贝至所用到的每台机器上

locust -f 路径/文件名.py --master	# 在主机上执行此命令,Web界面会在此主机上运行
locust -f 路径/文件名.py --worker --master-host=192.166.66.22	# 在每台从机上执行此命令,指定主机IP

请添加图片描述

非GUI模式

单机压测,--headless表示使用没有UI界面的方式运行,-u表示总用户数,-r表示每秒增加的用户数,-t表示测试运行时间,--html是输出测试报告,也可以使用--csv导出csv格式的测试结果,会导出4个结果文件,-t、--html、--csv都是可选参数

locust -f 路径/文件名.py --headless -u 30 -r 2 -t 1h30m --html=路径/报告名.html

请添加图片描述

分布式压测,非GUI模式使用以下命令,--expect-workers表示等待几个从机连接后再开始测试,从机个数达到要求后会立即开始执行

locust -f 路径/文件名.py --headless -u 10 -r 2 -t 5s --master --expect-workers=2	# 在主机上执行,可带上报告参数
locust -f 路径/文件名.py --headless --worker --master-host=192.166.66.22	# 在每台从机上执行此命令

请添加图片描述

监控工具

基本性能指标:响应时间、吞吐量、资源利用率,使用Locust自带的监控功能即可

也可以使用系统自带的监控工具:vmstat、top,或nmon、dstat,后两项需要使用yum命令安装

还可以使用Prometheus+Grafana实现更炫酷的监控图表,如下所示,整个压测过程系统性能变化会以图表形式展示
请添加图片描述

通常一个正常系统应随着压力增大CPU的利用率也应不断升高,所以性能测试首先关注的是CPU,CPU上不去就意味着压力上不去,压力上不去又意味着无法测试系统的处理能力,继续压测并没有什么意义。单台机器的CPU处理能力是有限的,所以通常采用分布式的方式进行性能测试,从上文的报告就可以看出单台机器与分布式测试的RPS是有很大差距的,只有压力上去之后测试的结果才更准确,更容易确定系统瓶颈,常见的系统瓶颈有线程阻塞、数据库加锁、磁盘IO阻塞等

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白典

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值