深聊性能测试,从入门到放弃之:Locust性能自动化(三)如何提高Locust性能

1、什么是 FastHttpUser

在介绍FastHttpUser之前,我们先看一下,Locust默认客户端使用的是啥?
Locust 默认客户端使用的是python-requests。
>> 如果不了解 python-requests,可以看一下小鱼的这篇:《requests库常用到的7个主要方法及控制访问参数》
或者官方文档,如果有足够耐心的话:《Requests》
我们接着说,使用requests是Pyhton维护非常方便的包,并且在python应用中非常广泛,栗如:爬虫接口等。
所以,官网是非常推荐我们使用HttpUser
但是,如果我们的测试规模非常大,数据量非常大,那么这个时候,我们就可以使用 Http客户端,该客户端使用的是geventhttpclient 而不是请求,好处呢,就是进行HTTP请求的性能提高了5~6倍,是不是很厉(尿)害() !!!

注:
1、提高 5~6倍,这并不意味着每个CPU内核可以模拟的用户数量将自动增加到5至6倍,因为这不去取决于负载测试脚本的其他功能;
2、如果locust脚本在执行HTTP请求时花费大量的CPU时间,那么将会得到显著的性能提升!

1.1、 geventhttpclient厉害之处

1.1.1 初识 geventhttpclient

1、geventhttpclient专门为高并发流传输支持HTTP 1.1持久连接而设计。
2、它旨在有效地从REST API和Twitter之类的流API中提取信息。
3、默认情况下,提供SSL支持。
>>>① geventhttpclient取决于证书CA Bundle。
>>>② 这是与Requests代码库一起提供的相同的CA Bundle,它是从Mozilla Firefox的规范集衍生而来的。
4、支持Python 2.7Python 3.4+。不再支持Python 2.6。


官方不建议将SSL / TLS与python 2.7.9一起使用。

1.1.2 geventhttpclient实例展示

很简答的一段代码,就是通过geventhttpclient 来获取 请求,响应信息,状态码等数据。

老规矩,上代码

# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""

from geventhttpclient import HTTPClient
from geventhttpclient.url import URL

url  = URL('http://baidu.com')

http =HTTPClient(url.host)

#获取一个请求
response  = http.get(url.request_uri)

#读取状态码
response.status_code 

#读取返回内容
body = response.read()

#关闭链接
http.close()

1.1.3 高并发 代码实战

HTTPClient具有内置的连接池,可以在多个并发线程中使用同一个实例。
上代码,

# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""

import gevent.pool
import json

from geventhttpclient import HTTPClient
from geventhttpclient.url import URL

#获取某网站的token
Token = '<go to http://developers.xxx.com/tools/explorer and copy the access token>'

url = URL('https://xxx.com/me/friends')
url['access_token'] = Token

#设置 10个并发和10和连接数
http = HTTPClient.from_url(url,concurrency =10)

#设置响应请求
response = http.get(url.request_uri)
#抛出 状态
assert response.status_code == 200

#将读取的信息流,传递到json解析器中
data = json.loads(response)['data']

#定义方法,来打印friend_username
def print_friend_username(http,friend_id):
    #设置 http,friend_id 两个参数
    #url地址拼接
    fiend_url = URL('/'+str(friend_id))
    fiend_url['access_token'] = Token

    #在链接之前,线程会处于阻塞状态
    response = http.get(fiend_url.request_uri)
    assert response.status_code ==200
    
    friend = json.load(response)

    #判断是否存在username 
    if friend.has_key('username'):
        print (f"{firend['username']} :{friend['name']}")

    else:
        print(f"{friend['name'] has no username}")

    #设置一次运行20个线程
    pool = gevent.pool.Pool(20)

    #循环读取
    for item in data:
        friend_id = item['id']
        pool.spawn(print_friend_username,http,friend_id)

    pool.json()
    #关闭 
    http.close()


这里小鱼在强调几点:
1、信息最好是使用json解析器,快捷方便;
2、线程数根据自己是实际业务量来编写;
3、每次执行完,在最后,需要关闭http,不然耗资源。
4、小鱼自认为,注释还算明白,不明白的,可要补基础知识了!

1.1.4 数据流 代码实战

geventhttpclient支持,这是一大特色,
响应状态具有:read(),readline()方法,他们都是以增量的方式读取。

我们来个例子,看看牛在啥地方

# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""
from geventhttpclient import HTTPClient
from geventhttpclient.url import URL

#本地的文件地址
url = URL('http://127.0.0.1:80/100.dat')
#获取请求
http = HTTPClient.from_url(url)
#获取响应信息
response = http.get(url.query_string)
#抛出200的说明OK的
assert response.status_code == 200

#文件的大小
CHUNK_SIZE = 1024 * 16 # 16KB
#with方法打开文件
with open('/data/100.dat', 'w') as f:
while  data:
	f.write(data)
	data = response.read(CHUNK_SIZE)

小屌丝:鱼哥,这不就是一个下载大文件的方法吗?
小鱼:是啊,
小屌丝:那这有啥稀奇的,我到没看出来啥道道。
小鱼:那你知道,下载大文件的方法那么多,我为啥偏偏喜欢用 gevent 来下载?
小屌丝:因为你现在不就是在讲 geventhttpclient嘛!(很装叉的样子)
小鱼:还有呢??
小屌丝:额…
小鱼:因为 使用geventhttpclient ,可以节省内存啊 !!!!
小屌丝:挖草~ 这也可以!!

2、如何使用FastHttpUser

我们直接上代码,
在代码中,理解如何使用

# -*- coding: utf-8 -*-
"""
@ auth : carl_DJ
@ time : 2020-9-30
"""

from locust import task,between
from locust.contrib.fasthttp import FastHttpUser

class MyUser(FastHttpUser):
	#设置时间间隔在 1~5秒之间
	wite_time = (1,5)
	
	@task
	def index(self):
		response = self.client.get("/")

看到没有,就是这么简单,
如果没理解@task的用法,可以参照小鱼的上一篇文章,
《深聊性能测试,从入门到放弃之:Locust性能自动化(二)代码实战》
这里有详细介绍 @task的用法,在本篇不多阐述。

注:

因为 FastHttpUser 使用的是不同的客户端(geventhttpclient)及API来实现,所以, 并不总能代替HttpUser,但是偶尔可以代替一下!!!!

3、FastHttp 的API 类

3.1、FastHttpUser类

刚刚小鱼也提到了, FastHttpUser与HttpUser(python-requests)相比,
使用的是 (geventhttpclient) 这个客户端,所以:
① 速度比HttpUser 快;
②功能比HttpUser 弱。

由于该用户的行为由其任务定义,可以通过使用 @task decorator 方法或通过设置来直接在类上声明 ,takss attribute。

此类在实例化时创建一个客户端属性,该属性是一个HTTPClient,支持在请求之间保持用户会话。

接下来,详细看一下:
1、定义FastHttpUser 类


#定义FastHttpUser 类
class FastHttpUser(environment)

2、参数及定义


# 传递给FastHttpSession的参数
connection_timeout: float= 60.0

#参数传递给FastHttpSession。默认值为True,表示不进行SSL验证。
insecure: bool= True

#参数传递给FastHttpSession。默认值5,表示4次重定向。
max_retries: int= 1

#参数传递给FastHttpSession。默认值1,表示零重试。
max_redirects: int= 5

#传递给FastHttpSession的参数
network_timeout: float= 60.0

3.2、 FastHttpSession类

关于 FastHttpSession类的内容,我们直接代码中解析:

1、定义FastHttpSession 类


#定义FastHttpSession 类
class FastHttpUser(environment,base_url,insecure = True** kwargs)

2、参数及定义


# 发送get请求
get(Path,**kwargs)

# 发送head请求
head(Path,**kwargs)

# 发送option请求
option(Path,**kwargs)

# 发送patch请求
patch(Path,data = None,**kwargs)

# 发送post请求
post(Path,data = None,**kwargs)

# 发送put请求
put(Path,data = None,**kwargs)

#发送http请求并返回loucst.contrib.fasthttp.FastResponse 对象
request(method, path, name=None, data=None, catch_response=False, stream=False, headers=None, auth=None, json=None, allow_redirects=True, **kwargs)

这里我们单独解析一下 request方法里面的参数:
method: 新的request 方法;

path:请求主机地址,url;

name:可选参数,可以指定为在Locust的统计信息中用作标签,而不是URL路径;

data:可选参数,要在请求正文中发送的字符串/字节;

catch_response:可选参数,如果已设置,则可用于发出请求,以返回上下文管理器以用作with语句的参数。可自行进行标记,例如200可以设置Success,也可以设置成Fail

stream:可选参数,
>>>>如果设置成Ture,则不会立即使用响应主体,而是可以通过访问Response对象上的stream属性来使用它;
>>>>如果设置成False,在Locust报告的请求时间中不会考虑下载响应内容的时间。

headers:与请求一起发送的HTTP headers字典;

auth:可选参数,身份认证(用户名、密码等);

json:可选参数,在请求正文中发送的字典。

3.3、FastResponse类

1、定义FastResponse 类


#定义FastResponse 类
classFastResponse(ghc_response, request=None, sent_request=None)

2、参数及定义

content属性:
必要时解压缩并缓冲接收到的正文。注意大文件的情况!

headers
包含响应标头的类对象字典;

json()
将响应解析为json并返回一个dict;

text属性:
以解码的字符串形式返回响应的文本内容。

小屌丝: 鱼哥,我想从头学习locust,能不能给我推荐一下哪些博文好呢?
小鱼:那你就看你鱼哥我的博文啊
小屌丝:哪些博文,快快说说,迫不及待了~~!!
小鱼:莫急,可不是莫言,且看以下几篇文章:

①、《深聊性能测试,从入门到放弃之:Locust性能自动化(一)初识Locust》

带你认识 locust,从此不再仅限于 Loadrunner、Jmeter性能功能。

②、《深聊性能测试,从入门到放弃之:Locust性能自动化(二)代码实战》

让你了解locust的内涵,自己也可以动手写性能测试脚本。

③、《深聊性能测试,从入门到放弃之:Locust性能自动化(三)提高locust性能》

让你提高性能,遨游性能的海洋。

  • 3
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
Locust是一个分布式用户负载测试工具,用于对网站或其他系统进行负载测试,以确定系统可以处理多少个并发用户。在测试期间,可以通过定义每个用户的行为,并通过Web UI实时监视测试过程。关于Locust的代码实战和结果分析,可以参考引用\[2\]中提供的链接,该链接提供了深入讨论Locust性能自动化的文章。此外,引用\[3\]中的文章也提供了关于Locust的实战介绍,可以进一步了解Locust性能测试实践。 #### 引用[.reference_title] - *1* [Python性能测试框架Locust实战教程](https://blog.csdn.net/xfw17397388089/article/details/129162109)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [深聊性能测试,从入门放弃之:Locust性能自动化(二)代码实战](https://blog.csdn.net/wuyoudeyuer/article/details/108596407)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Locust 性能测试实战(一)](https://blog.csdn.net/weixin_43431593/article/details/107710571)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Carl_奕然

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值