使用locust对设备ID的生成逻辑的并发测试初步实践

最新推荐文章于 2024-04-17 22:27:59 发布
最新推荐文章于 2024-04-17 22:27:59 发布
阅读量147 收藏
点赞数
文章标签： json 操作系统 ui
原文链接：http://blog.51cto.com/11565901/2107163
版权

项目背景：现阶段我们项目主要有两大场景，一是交易风控，二是账户风控，两大的场景的很多规则都和设备ID有关，比如设备黑名单，设备A在黑名单库并且相关规则开启，设备A请求交易时就会有预警事件发生，所以设备ID的生成逻辑至关重要，主要和A、B、C 三大因素有关，大概如下：

1、同A，不管后面的B,C是否不一致
首先根据传入消息的A ，到ES中查询 如果存在相同的则用原A的设备ID(DeviceID)
2、不同A
1）B一样，C不一样，则用原B的设备ID(DeviceID)
2）C一样,B不一样，则用原C的设备ID(DeviceID)
3）B不一样，C不一样，则生成新设备ID(DeviceID)，生成新的设备ID的逻是原来的最大的设备ID号，加1最为新的设备ID，例如：原数据中最大设备ID是D000000009，则新的设备ID是D000000010.

设备ID的生成在数据量大并发的情况下是非常有可能是同一时间过来的，所以，当开启脚本后，即使是A、B、C因子都不一样的时候，因为生成时间是相同的（精确到毫秒级），所以生成的设备ID还是相同的（实际情况下是不可能生成相同设备的），此问题的解决方案有很多，可以搜索，分布式ID的生成，我们开发采取的方案是使用redis的原子性，ID生成器解决的。主要的locust脚本如下：

#!/user/bin/env python
#coding=utf-8
author = 'zengweifang'

#风控系统的压测脚本
#第一步：模拟设备指纹的100万数据的生成

from locust import HttpLocust,TaskSet,task
import queue
import json
import requests
from random import Random
import random
import time
import string
import socket
import struct

RockMQ = "http://192.168.46.154:8765/topic/sendTopicMessage.do"

def AutoGeneratedString(number):
'''随机生成字符串方法，主要用于输入框不能超过多少字符串的场景,此一次性产生的最大的字符串是62个'''
return ''.join(random.sample(string.ascii_letters + string.digits, number))

def getRandomBool():
'''随机获取是否是代理'''
isProxy = ["true","false"]
return random.sample(isProxy, 1)[0]

def get_random_ip():
'''随机生成合法的IP'''
RANDOM_IP_POOL=['192.168.10.222/0']
str_ip = RANDOM_IP_POOL[random.randint(0,len(RANDOM_IP_POOL) - 1)]
str_ip_addr = str_ip.split('/')[0]
str_ip_mask = str_ip.split('/')[1]
ip_addr = struct.unpack('>I',socket.inet_aton(str_ip_addr))[0]
mask = 0x0
for i in range(31, 31 - int(str_ip_mask), -1):
mask = mask | ( 1 << i)
ip_addr_min = ip_addr & (mask & 0xffffffff)
ip_addr_max = ip_addr | (~mask & 0xffffffff)
return socket.inet_ntoa(struct.pack('>I', random.randint(ip_addr_min, ip_addr_max)))

def getUnixTime():
'''获得13位的unix时间戳:1519800472673'''
return int(round(time.time() * 1000))

def getPCUserAgent():
'''获取PC端的UserAgent'''
pc_user_agent = [
'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)',
'Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/5.0 (Windows NT 6.1; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)']
list(set(pc_user_agent))
return random.sample(pc_user_agent, 1)[0]

def messageDict(fingerId, sessionId):

topic = {"topic": "meta-fingerprint"}
tag = {"tag": ""}
key = {"key": ""}

appId = {"appId": 'A10007'}
clientType = {"clientType": "1"}
fingerId = {"fingerId": fingerId}
ip = {"ip": get_random_ip()}
proxyFlag = {"proxyFlag": getRandomBool()}
sessionId = {"sessionId": sessionId}
systemId = {"systemId": '7b6a99f3bce14915863cde5104bdf2c3'}
timestamp = {"timestamp": str(getUnixTime())}

user_agent = '{\"key\":\"user_agent\",\"value\":\"%s\"}' % getPCUserAgent()
language = '{\"key\":\"language\",\"value\":\"zh-cn\"}'
color_depth = '{\"key\":\"color_depth\",\"value\":32}'
device_memory = '{\"key\":\"device_memory\",\"value\":-1}'
pixel_ratio = '{\"key\":\"pixel_ratio\",\"value\":\"\"}'
hardware_concurrency = '{\"key\":\"hardware_concurrency\",\"value\":\"unknown\"}'
resolution = '{\"key\":\"resolution\",\"value\":[1920,1080]}'
available_resolution = '{\"key\":\"available_resolution\",\"value\":[1920,1040]}'
timezone_offset = '{\"key\":\"timezone_offset\",\"value\":-480}'
session_storage = '{\"key\":\"session_storage\",\"value\":1}'
local_storage = '{\"key\":\"local_storage\",\"value\":1}'
add_behavior = '{\"key\":\"add_behavior\",\"value\":1}'
cpu_class = '{\"key\":\"cpu_class\",\"value\":\"x86\"}'
navigator_platform = '{\"key\":\"navigator_platform\",\"value\":\"Win32\"}'
do_not_track = '{\"key\":\"do_not_track\",\"value\":\"unknown\"}'
ie_plugins = '{\"key\":\"ie_plugins\",\"value\":[\"AcroPDF.PDF\",null,null,null,\"MacromediaFlashPaper.MacromediaFlashPaper\",\"Msxml2.DOMDocument\",\"Msxml2.XMLHTTP\",null,null,null,null,null,null,\"Scripting.Dictionary\",null,\"Shell.UIHelper\",\"ShockwaveFlash.ShockwaveFlash\",null,\"TDCCtl.TDCCtl\",\"WMPlayer.OCX\",null,null]}'
adblock = '{\"key\":\"adblock\",\"value\":false}'
has_lied_languages = '{\"key\":\"has_lied_languages\",\"value\":false}'
has_lied_resolution = '{\"key\":\"has_lied_resolution\",\"value\":false}'
has_lied_os = '{\"key\":\"has_lied_os\",\"value\":false}'
has_lied_browser = '{\"key\":\"has_lied_browser\",\"value\":false}'
touch_support = '{\"key\":\"touch_support\",\"value\":[0,false,false]}'
js_fonts = '{\"key\":\"js_fonts\",\"value\":[\"Arial\",\"Arial Black\",\"Calibri\",\"Cambria\",\"Cambria Math\",\"Comic Sans MS\",\"Consolas\",\"Courier\",\"Courier New\",\"Georgia\",\"Helvetica\",\"Impact\",\"Lucida Console\",\"Lucida Sans Unicode\",\"Microsoft Sans Serif\",\"MS Gothic\",\"MS PGothic\",\"MS Sans Serif\",\"MS Serif\",\"Palatino Linotype\",\"Segoe Print\",\"Segoe Script\",\"Segoe UI\",\"Segoe UI Light\",\"Segoe UI Semibold\",\"Segoe UI Symbol\",\"Tahoma\",\"Times\",\"Times New Roman\",\"Trebuchet MS\",\"Verdana\",\"Wingdings\"]}'

fingerParametersList = [user_agent, language, color_depth, device_memory, pixel_ratio, hardware_concurrency,
                            resolution, available_resolution, timezone_offset,
                            session_storage, local_storage, add_behavior, cpu_class, navigator_platform,
                            do_not_track, ie_plugins, adblock, has_lied_languages,
                            has_lied_resolution, has_lied_os, has_lied_browser, touch_support, js_fonts]

fingerParameters = {"fingerParameters": str(fingerParametersList)}

{"messageBody":fingerParameters}
messageBodyDict = fingerParameters.copy()
messageBodyDict.update(clientType)
messageBodyDict.update(fingerId)
messageBodyDict.update(ip)
messageBodyDict.update(proxyFlag)
messageBodyDict.update(sessionId)
messageBodyDict.update(systemId)
messageBodyDict.update(timestamp)
messageBodyDict.update(appId)

messageBody = {"messageBody": str(messageBodyDict)}
    # print(messageBody)

NewmessageBody = messageBody.copy()
NewmessageBody.update(topic)
NewmessageBody.update(tag)
NewmessageBody.update(key)

return NewmessageBody

def toJson(message):
return json.dumps(message, ensure_ascii=False)

def send(url, jsonbody, header):
print('发送的消息体为:%s' % jsonbody)
re = requests.post(url=url, data=jsonbody, headers=header).json()
return re

def getHeader():
'''获取请求头'''
header = {"Content-Type": "application/json"}
return header

class rcpTaskSet(TaskSet):

@task(1)
def fingerprint(self):
    '''生产设备指纹'''
    try:
        sessionId_data = self.locust.sessionId_queue.get()
        print(sessionId_data)
    except queue.Empty:
        print('sessionId data run out, test ended.')
        exit(0)

    try:
        fingerId_data = self.locust.fingerId_queue.get()
        print(fingerId_data)
    except queue.Empty:
        print('fingerId data run out, test ended.')
        exit(0)

    #self.messageDict(fingerId_data,sessionId_data)
    json1 = toJson(messageDict(fingerId_data,sessionId_data))
    send(RockMQ, json1, getHeader())

    #保证并发测试数据唯一性，循环取数据
    self.locust.sessionId_queue.put_nowait(sessionId_data)
    self.locust.fingerId_queue.put_nowait(fingerId_data)

    # payload = FG.messageDict( sessionId)
    # json1 = FG.toJson(payload)
    # self.send(self.RockMQ, json1, self.getHeader())

# @task
# def sendMQ(self):
#     '''发送消息'''
#     pass

class rcpLocust(HttpLocust):

task_set = rcpTaskSet

sessionId_queue = queue.Queue()

for a in range(1000000):
    sessionId = AutoGeneratedString(32)
    sessionId_queue.put_nowait(sessionId)

fingerId_queue = queue.Queue()
for b in range(1000000):
    fingerId = AutoGeneratedString(32)
    fingerId_queue.put_nowait(fingerId)

min_wait = 1000
max_wait = 3000

找到locust脚本，启动方式如下：
locust -H http://192.168.46.154:8765/topic/sendTopicMessage.do -f rcpLocust.py

最后在web上设置用户数和每秒加载的用户，done

转载于:https://blog.51cto.com/11565901/2107163

weixin_33701294
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Locust性能测试实践
06-15
本培训课程全面讲解了Locust作为性能测试的一款工具的方方面面。讲解每个知识点时都有设计相关的案例进行实战。 此外，分布式测试，Docker技术运用到Locust测试，以及定制化客户端，是本门课程的亮点。
Locust负载测试工具-其他
06-11
Locust 主要为网站或者其他系统进行负载测试，能测试出一个系统可以并发处理多少用户。 Locust 是完全基于时间的，因此单个机器支持几千个并发用户。相比其他许多事件驱动的应用，Locust 不使用回调，而是使用轻量级...
Python 爬取豆瓣电影、书籍、音乐Top250
Mr_Qian_Ives的博客
02-20 727
成果 源码 import requests from bs4 import BeautifulSoup from WebWorm.RandomHeader import getRandomHeader # 根据url返回HTML内容 def parse(url): # 设置随机头 headers = {"user-agent": getRandomHeader()} # 请求URL request = requests.get(url, headers=header
关于生成并发唯一性流水号的解决方案
热门推荐
Ijingjing的专栏
01-20 1万+
　看了文章《弃用数据库自增ID，曝光一下我自己用到的解决方法》，居然还显示到首页上去。我却觉得如果新手不辨真假，盲目顺从，那么会造成误人子弟的事实。首先从作者的写这篇文章的目的上讲他想实现的无非是下面目的：1、不用自增长ID，因为自增长移植的时候不方便。2、这个存储过程可以很高效的产生唯一性的自增长ID从我小虎的认知上来回答：1、对于作者的第一点，完全可以用Guid来替代自增长，或者在移植的时候，可以先去掉自增长的属性。有的人说Guid性能比不上自增长ID,这里我们先不讨论这一点，个人认为效率问题主要体现在
Python采集网站随机header
zy0412326的专栏
02-11 838
不废话直接代码： import random class UserAgent: def __init__(self): self.headers = [ "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 ...
python基础之随机设置访问头
DonQuixote_的博客
07-26 1416
前言：我们在爬虫中访问网站一般都需要请求头！今天我们编写一段随机请求的代码！可以说是方便以后使用！ 在编写代码前导入新的模块） from urllib import request from urllib.request import build_opener,ProxyHandler import random 1，编写多个请求头！ 根据不同的浏览器抽取的多个访问头 #user_A...
Python-爬取音悦台MV列表以及反爬虫方法
Co_zy的博客
08-14 6385
这次比2345电影那个多了一个resource.py文件,里面包含UserAgents,PROXIES,这样我们在爬取时可以写一个函数,随机从这两项中选取,以此绕开反爬虫.1.目标:音悦台-V榜-MV作品榜 2.所使用的库:from bs4 import BeautifulSoup import requests import codecs import time import resource
WEB网站压力测试工具Locust使用教程.zip
01-09
WEB网站压力测试工具Locust使用教程.zip
Locust负载测试工具 v1.4.1
12-08
为您提供Locust负载测试工具下载，Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为，也可以仿真百万个用户。Locust 是非常简单易用，分布式，用户负载测试工具。Locust 主要为网站或者其他系统进行...
Linux版WEB网站压力测试工具locust使用教程
12-21
Linux版WEB网站压力测试工具locust使用教程
Python爬虫构建随机请求头headers
乐亦亦乐的博客
12-01 1万+
简介： 通过User-Agent构建请求头headers能够将爬虫伪装，但是有的网站会有反爬技术。会去检查请求头，进而封掉ip地址。所以一个稍微不错的方法就是使用不用的User-Agent构建请求头，在每次提交网站请求的时候，使用随机请求头迷惑对方。 构造随机请求头： 一种比较笨的方法就是去搜集各种User-Agent构建请求头，写一个随机函数，每次挑选一个User-Agent。既然这么繁琐的工作...
esp32联网获取时间和天气（四）
qq_30347421的博客
04-15 210
本章节需要先学习之前（三）中获取当前时间方法，本文基于platformIO，需提前安装timelib库，可以参考之前（三）
Nextjs学习入门 - 创建第一个项目
liu289747235的专栏
04-16 262
创建一个文件夹来存储静态资产，例如图像、字体等。然后，代码可以从基 URL （） 开始引用目录中的文件。public public/如果您更喜欢使用 Pages Router 而不是 App Router，则可以在项目的根目录下创建一个pages目录。自定义文档pages/_document.tsx（在里面添加一个文件来控制服务器的初始响应）app/page.tsx:（这是页面）
使用 Fetch API 执行 GraphQL 查询和变体
ikxin的博客
04-15 1108
GraphQL 是从远程服务器查询数据的强大工具，也是我构建 API 的首选方式。对一些人来说，学习它可能有一定难度，因为教程通常使用 Apollo 或 Relay 等工具进行编写。这些工具很不错，但通常更适用于复杂项目。在某些情况下，最好选择更轻量级的方法，并且不要通过添加额外的库增加包大小。在这种情况下，你可以直接使用浏览器中提供的工具，在本快速教程中，我们将使用在你的浏览器中通常可用的fetch。让我们首先简单地回顾一下fetch。
解决Ant Design Vue使用Modal对话框无法关闭的问题，本地可以关闭对话框但是打包后不能关闭对话框的问题。
qq_43807473的博客
04-15 358
解决Ant Design Vue使用Modal对话框无法关闭的问题，本地可以关闭对话框但是打包后不能关闭对话框的问题。首先说为什么会导致这个问题：因为现在vue官方的最新版本是3.4.x，可能是vue最新版本的部分代码与Ant Design不兼容导致的。次版本号的变化表示软件包具有新的功能，但是与之前的版本兼容。
SpringBoot源码解析-02
2301_80073794的博客
04-17 949
●发生错误以后，转发给/error路径，SpringBoot在底层写好一个 BasicErrorController的组件，专门处理这个请求使用@ControllerAdvice + @ExceptionHandler 进行统一异常处理根据boot的错误页面规则，自定义页面模板定义好底层组件默认功能；
如何将对象转换成json字符串，以json格式输出，并获取到其中的特定字段
qq_62414152的博客
04-12 847
综上所述，这段代码的作用是：使用 Gson 库的 GsonBuilder 创建一个开启了美观打印模式的 Gson 实例，然后使用这个实例将 student 对象序列化为格式化的 JSON 字符串，并最终将该 JSON 字符串输出到控制台。这样做的目的是以易于阅读的格式显示 student 对象的 JSON 表示。“menu” 键对应的值是一个对象，其中 “popup” 键对应的值又是一个对象，而这个对象的 “menuitem” 键对应的值则是一个数组，数组中的每个元素都是一个描述菜单项的 JSON 对象。
json diff patch
最新发布
luemeon的博客
04-17 421
文件和图片的比对靠字符串。
使用locust实现500并发,请求get
07-14
要使用Locust实现500并发的GET请求，您需要编写一个Locust测试脚本。以下是一个示例的Python代码，用于实现这个功能： ```python from locust import HttpUser, TaskSet, task, between class MyUser(HttpUser): ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值