Python接口并发压力测试（单接口，多接口参数化）+异步aiohttp

已于 2023-06-08 18:08:52 修改
阅读量1.9k 收藏 16
点赞数 1
分类专栏： python 文章标签： python 压力测试
于 2023-05-26 19:16:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43006743/article/details/130892686
版权

一 单接口

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import json
import random
import datetime

import requests
import threading
import time


class Presstest(object):
    headers = {
        'Content-Type': 'application/json; charset=UTF-8'
    }

    def __init__(self, login_url, press_url, phone, password):
        self.login_url = login_url
        self.press_url = press_url
        self.phone = phone
        self.password = password
        self.session = requests.Session()
        self.session.headers = self.headers

    def login(self):
        '''登陆获取session'''
        data = {"mobile": self.phone, "pwd": self.password, "type": "1"}
        res = self.session.post(self.login_url, data=json.dumps(data))
        XToken = res.json().get('data').get('token')
        self.session.headers['token'] = XToken

    def testinterface(self):
        '''压测接口'''
        # self.session.headers['X-UnionId'] = 'of6uw1CUVhP533sQok'
        data = {"id": 418}
        global ERROR_NUM
        try:
            print('开始调接口：', datetime.datetime.now().strftime('%Y-%m-%d- %H:%M:%S:%f'))
            response = self.session.post(self.press_url, data=json.dumps(data))
            if response.json().get('code') != 0:
                print(response.json())
                ERROR_NUM += 1
        except Exception as e:
            print(e)
            ERROR_NUM += 1

    def testonework(self):
        '''一次并发处理单个任务'''
        i = 0
        while i < ONE_WORKER_NUM:
            i += 1
            self.testinterface()
        time.sleep(LOOP_SLEEP)

    def run(self):
        '''使用多线程进程并发测试'''
        t1 = time.time()
        Threads = []

        for i in range(THREAD_NUM):
            t = threading.Thread(target=self.testonework, name="T" + str(i))
            t.setDaemon(True)
            Threads.append(t)

        for t in Threads:
            t.start()
        for t in Threads:
            t.join()
        t2 = time.time()

        print("===============压测结果===================")
        print("URL:", self.press_url)
        print("任务数量:", THREAD_NUM, "*", ONE_WORKER_NUM, "=", THREAD_NUM * ONE_WORKER_NUM)
        print("总耗时(秒):", t2 - t1)
        print("每次请求耗时(秒):", (t2 - t1) / (THREAD_NUM * ONE_WORKER_NUM))
        print("每秒承载请求数:", 1 / ((t2 - t1) / (THREAD_NUM * ONE_WORKER_NUM)))
        print("错误数量:", ERROR_NUM)


if __name__ == '__main__':
    login_url = 'http://test/sale/login/login'
    press_url = 'http://test/sale/hsOrder/afterExamineAdopt'
    phone = "150000000"
    password = "123456"

    THREAD_NUM = 1  # 并发线程总数
    ONE_WORKER_NUM = 5  # 每个线程的循环次数
    LOOP_SLEEP = 0.1  # 每次请求时间间隔(秒)
    ERROR_NUM = 0  # 出错数

    obj = Presstest(login_url=login_url, press_url=press_url, phone=phone, password=password)
    obj.login()
    obj.run()

二 多接口参数化（实现多接口参数化并发，data和url必须一一对应，且THREAD_NUM并发线程数不能大于url_list长度）

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import json
import random
import datetime

import requests
import threading
import time


class Presstest(object):
    headers = {
        'Content-Type': 'application/json; charset=UTF-8'
    }

    def __init__(self, login_url, press_url, phone, password):
        self.login_url = login_url
        self.press_url = press_url
        self.phone = phone
        self.password = password
        self.session = requests.Session()
        self.session.headers = self.headers

    def login(self):
        '''登陆获取session'''
        data = {"mobile": self.phone, "pwd": self.password, "type": "1"}
        res = self.session.post(self.login_url, data=json.dumps(data))
        XToken = res.json().get('data').get('token')
        self.session.headers['token'] = XToken

    def testinterface(self):
        '''压测接口'''
        # self.session.headers['X-UnionId'] = 'of6uw1CUVhP533sQok'
        data = {"id": 418}
        global ERROR_NUM
        try:
            print('开始调接口111111：', datetime.datetime.now().strftime('%Y-%m-%d- %H:%M:%S:%f'))
            response = self.session.post(self.press_url, data=json.dumps(data))
            if response.json().get('code') != 0:
                print(response.json())
                ERROR_NUM += 1
        except Exception as e:
            print(e)
            ERROR_NUM += 1

    def testinterface2(self, url, data):
        '''压测接口'''
        # self.session.headers['X-UnionId'] = 'of6uw1CUVhP533sQok'
        # data = {"orderId": 1179, "cause": "让人"}
        global ERROR_NUM
        try:
            print('开始调接口2222222：', datetime.datetime.now().strftime('%Y-%m-%d- %H:%M:%S:%f'))
            print("接口请求入参url，data==", url, data)
            response = self.session.post(url,
                                         data=json.dumps(data))
            if response.json().get('code') != 0:
                print(response.json())
                ERROR_NUM += 1
        except Exception as e:
            print(e)
            ERROR_NUM += 1

    def testonework(self, url, data):
        '''一次并发处理单个任务'''
        i = 0
        while i < ONE_WORKER_NUM:
            i += 1
            self.testinterface2(url, data)
            self.testinterface()
        time.sleep(LOOP_SLEEP)

    def run(self):
        '''使用多线程进程并发测试'''
        t1 = time.time()
        Threads = []
        # 实现多接口参数化并发，data和url必须一一对应，且THREAD_NUM并发线程数不能大于url_list长度
        data_list = [{"orderId": 1194, "cause": "让人"},
                     {"orderId": 1193, "cause": "让人"},
                     {"orderId": 1192, "cause": "让人"}]
        url_list = ["http://test/api1",
                    "http://test/api2",
                    "http://test/api3"]
        list_arr = list(range(0, len(data_list)))
        print("index========", list_arr)
        for i in range(THREAD_NUM):
            index = random.choice(list_arr)
            list_arr.remove(index)
            t = threading.Thread(target=self.testonework(url_list[index], data_list[index]), name="T" + str(i))
            t.setDaemon(True)
            Threads.append(t)

        for t in Threads:
            t.start()
        for t in Threads:
            t.join()
        t2 = time.time()

        print("===============压测结果===================")
        print("URL:", self.press_url)
        print("任务数量:", THREAD_NUM, "*", ONE_WORKER_NUM, "=", THREAD_NUM * ONE_WORKER_NUM)
        print("总耗时(秒):", t2 - t1)
        print("每次请求耗时(秒):", (t2 - t1) / (THREAD_NUM * ONE_WORKER_NUM))
        print("每秒承载请求数:", 1 / ((t2 - t1) / (THREAD_NUM * ONE_WORKER_NUM)))
        print("错误数量:", ERROR_NUM)


if __name__ == '__main__':
    login_url = 'http://test/login'
    press_url = 'http://test/afterExamineAdopt'
    phone = "1500000000"
    password = "123456"

    THREAD_NUM = 3  # 并发线程总数
    ONE_WORKER_NUM = 1  # 每个线程的循环次数
    LOOP_SLEEP = 0  # 每次请求时间间隔(秒)
    ERROR_NUM = 0  # 出错数

    obj = Presstest(login_url=login_url, press_url=press_url, phone=phone, password=password)
    obj.login()
    obj.run()

三 多接口并发调用方法二

import datetime
import json

import requests
import threading
import time


def post_request(url, data):
    start_time = time.time()
    print('开始调接口111111：', datetime.datetime.now().strftime('%Y-%m-%d- %H:%M:%S:%f'))
    response = requests.post(url, data=json.dumps(data), headers={"Content-Type": "application/json;charset=UTF-8"})
    print('调用结束：', datetime.datetime.now().strftime('%Y-%m-%d- %H:%M:%S:%f'))
    end_time = time.time()
    duration = end_time - start_time
    print("Response from", url, ":", data, response.text)
    print("Request duration:", duration * 1000, "ms")


data = [{"orderId": 1194, "cause": "让人"},
        {"orderId": 1193, "cause": "让人"},
        {"orderId": 1192, "cause": "让人"}]
urls = ["http://test/api1",
        "http://test/api2",
        "http://test/api3"]

threads = []
for i in range(len(urls)):
    t = threading.Thread(target=post_request, args=(urls[i], data[i]))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

四 多接口同时并发（相当于集合点）（异步实现集合点）

import asyncio
import datetime
import aiohttp
async def make_request(session, url, data):
    print('开始调接口：', datetime.datetime.now().strftime('%Y-%m-%d- %H:%M:%S:%f'))
    async with session.post(url, json=data) as response:
        result = await response.json(content_type='text/html', encoding='utf-8')
        return result


async def run_concurrent_requests(urls, datas, max_concurrent_requests):
    headers = {
        "Content-Type": "application/json;charset=UTF-8"
    }
    tasks = []
    async with aiohttp.ClientSession() as session:
        session.headers = headers
        session.headers["token"] = "BEE010F2A6D0696DD90A82FF28B21AF2"
        sem = asyncio.Semaphore(max_concurrent_requests)
        list_arr = list(range(0, len(datas)))
        for index in list_arr:
            await sem.acquire()
            task = asyncio.ensure_future(make_request(session, urls[index], datas[index]))
            task.add_done_callback(lambda t: sem.release())
            tasks.append(task)
        responses = await asyncio.gather(*tasks)
        return responses


if __name__ == '__main__':
    urls = ['http://test/SubmitSettlement'] * 5
    datas = [{"idArr": [2086]}, {"idArr": [2090]}, {"idArr": [2089]}, {"idArr": [2086]}, {"idArr": [2090]}]
    max_concurrent_requests = 5
    loop = asyncio.get_event_loop()
    responses = loop.run_until_complete(run_concurrent_requests(urls, datas, max_concurrent_requests))
    print(responses)

在这里插入图片描述

@半良人
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 压测示例
MusicDancing的博客
07-14 587
11
全网最强，Python+Appium+pytest自动化测试，多设备并发+多线程（实战详细）
m0_70102063的博客
08-16 2809
Appium+python 实现单设备的 app 自动化测试启动 appium server，占用端口 4723；电脑与一个设备连接，通过 adb devices 获取已连接的设备；在 python 代码当中，编写启动参数，通过 pytest 编写测试用例，来进行自动化测试。若要多设备并发，同时执行自动化测试需要：确定设备个数；每个设备对应一个 appium server 的端口号，并启动 appium；pytest 要获取到每个设备的启动参数，然后执行自动化测试。；实现策略。
接口并发性能测试分析总结，不要再走弯路了..
最新发布
hlsxjh的博客
05-30 596
1、并发测试定义目的：是以并发为手段进行接口测试行为，通过测试行为发现接口在并发场景下导致的功能问题。类型：①点层面上：同一时间做某件事；例：早上7:30 ，所有的学生都升国旗②线层面上：一个时间做不同的事，但同时对服务器产生压力；例：一个时间点，有的学生跳皮筋，有的玩足球并发测试不等同于性能测试，性能测试也只是并发测试的一个小类。2、并发测试分类功能并发测试：解析：要先进行测试单业务功能场景的并发测试，在进行混合业务功能场景的并发测试。
python locust并发测试简单入门
hi_testgirl的博客
04-27 375
单机小压力测试，可以用locust框架（协程）其他：python-线程并发 thread模块。
Python压力测试工具——Locust
XerCis的博客
08-25 5686
Locust一款开源性能测试工具，易于使用、脚本化、可扩展，对开发者非常友好。特性：代码定义用户行为，分布式和可扩展，深受考验。
【测试知识点学习笔记】接口测试中的幂等性测试与高并发测试与断点
m0_72775367的博客
04-10 561
接口测试的一些笔记
python并发异步的关键技术celery.zip
07-12
Python并发异步是一种提高程序执行效率的技术，它允许程序在等待某个任务完成的同时执行其他任务。Celery是一个基于分布式消息传递的异步任务队列，它专注于实时操作，但同时也支持调度。Celery的设计目标是简化...
详解Python实现多进程异步事件驱动引擎
09-21
在Python编程中，多进程异步事件驱动引擎是一种高效的方式，用于处理大量并发任务，尤其在需要处理I/O密集型工作负载时。本篇文章将详细解释如何使用Python实现这样一个引擎。 首先，我们要理解多进程的概念。在...
Python logging模块异步线程写日志实现过程解析
09-16
在Python中，`logging`模块是用于日志记录的标准库，它提供了多种级别的日志记录（如DEBUG、INFO、WARNING、ERROR等）以及灵活的日志配置。然而，在高并发或性能敏感的应用中，同步写入日志可能会成为程序性能的瓶颈...
Python 高级编程和异步IO并发编程 –08_5 *arge 与 **kwargs的区别
01-20
当对象实例化时，如果有参数传入，则会传入**kwargs，如下面，user = User(name=”bobby”), 调试中发现，args的tuple的值为0，无值传入。 而kwargs的值有传入{‘name’:’bobby’}，即参数被传入了kwargs的dict中 ...
python异步存储数据详解
09-19
在Python编程中，异步存储数据是一种高效的数据处理方法，特别是在大数据量或高并发场景下。这种方法能够将数据抓取（如爬虫）与数据存储（如数据库写入）两个操作解耦，使得数据处理更加流畅，避免了同步写入可能...
jmeter接口测试及压力测试
qq_58807174的博客
02-04 504
jmeter工具 接口测试压力测试的使用
Python如何测试请求接口是否支持并发
Bigbin666的博客
02-22 408
Python如何测试请求接口是否支持并发
一文3000字教你用Python + Jmeter 实现自动化性能压测
03-01 1003
Step01: Python脚本开发 文件路径：D://wl//testproject//Fone-grpc//project1//test_client.py Python 脚本作用：通过 grpc 调用底层 c++ 的接口，做数据库的数据插入与查询操作，然后将返回的结果进行拼接与输出。
一看就懂的JMeter操作流程
自动化测试馆长
04-16 878
JMeter是一款在国外非常流行和受欢迎的开源性能测试工具，像LoadRunner一样，它也提供了一个利用本地Proxy Server（代理服务器）来录制生成测试脚本的功能，但是这个功能并不好用。
python接口自动化测试 | yaml数据驱动参数化，看完这一篇就够了
Ces222的博客
10-31 1877
在yaml之前，程序大多使用json、xml、ini等格式进行数据的描述和传输，这些格式数据类型简单、可读性不好，yaml作为一种数据格式，但是可读性大大提高，方面人类直接编辑、查看里面的内容。在实际测试过程中，测试一个接口往往不会像前面一个只有一个用例。如何在一个yaml里面写多个用例，并且执行呢？接下来我们就来详细讲解一下什么是yaml。经验固然重要，但观念的正确与否起决定作用。经验只能做好现成的东西，观念则决定长远的方向。思维观念高于工作经验。
python并发测试脚本
hh_liu的专栏
09-05 9130
这两天要做性能测试，自己没事用python写了个脚本，用于压力测试   Python代码   # -*- coding: utf8 -*-   # code by Shurrik   import threading, time, httplib   HOST = "www.baidu.com"; #主机地址 例如192.168.1.101   PORT = 
Python + threading模块对单个接口进行并发测试
测试技师的自我修养
08-25 1684
本文知识点 通过在threading.Thread继承类中重写run()方法实现定制输出结果 代码如下 import requests import threading import sys, io # 解决console显示乱码的编码问题 sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') class ...
python测试-并发测试基础-asyncio
sjx1111111的博客
12-31 640
协程，又称微线程，Coroutine。协程的作用，是在执行函数A时，可以随时中断，去执行函数B，然后中断继续执行函数A(可以自由切换)。但是协程只有一个线程执行。python属于解释型语言（逐句执行），在特定场景下同步执行会造成阻塞（执行不下去），所以要引入异步执行（多条通道完成语言的解释）。 协程的使用不难，但是要真正掌握协程是非常困难的。本文将例举三种使用协程的方法，希望能够让更多的测试人能够使用上异步来提高测试效率，解决堵塞问题。有什么不懂的可以留言。 协程官方文档 第一种： import async
Gevent并发编程指南：Python异步开发
"《Python Gevent程序员指南》中文翻译PDF版，主要介绍Gevent这个基于libev的并发库，提供给中级Python程序员使用，旨在帮助理解并发和编写异步应用程序。文档包括Greenlets、同步与异步执行、数据结构如事件、队列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值