基于Python组装jmx并调用JMeter实现压力测试.

JMeter可以通过os命令调用Python脚本，Python同样可以通过系统命令调用JMeter执行压测

Python调用JMeter

首先要安装JMeter， 官方下载地址

解压并配置配置环境路径或建立软连，使得在命令输入jmeter便可以执行，如

unzip apache-jmeter-5.3.zip
mv apache-jmeter-5.3 /usr/loca/jmeter
ln -s /usr/local/jmeter/bin/jmeter /usr/bin/jmeter
ln -s /usr/local/jmeter/bin/jmeter-server /usr/bin/jmeter-server

打开JMeter并设计一个测试计划保存为testplan.jmx

**使用Python调用JMeter压测并生成报告
**

Python中可以使用os.system()或supprocess.Popen()调用系统命令，前者实时显示在屏幕上，后者可以获取到屏幕输出信息。
使用Python调用JMeter运行及生成报告的命令如下。

    import subprocess
    
    jmx_file = 'testplan.jmx' # jmx文件路径
    result_file = 'result.jtl' # 
    log_file = 'run.log'
    report_dir = 'report'
    
    run_cmd = f'jmeter -n -t {
     jmx_file} -l {
     result_file} -j {
     log_file}' # 无界面运行JMeter压测命令
    report_cmd = f'jmeter -g {
     result_file} -o {
     report_dir}' # 生成HTML报告命令
    
    # 不需要获取屏幕输出是，可以使用os.system()
    # os.system(run_cmd)
    # os.system(report_cmd)
    
    # 需要获取屏幕输出是，可以使用subprocess.Popen()
    p1 = subprocess.Popen(run_cmd, shell=True, stdout=subprocess.PIPE)
    print(p1.stdout.read().decode('utf-8'))
    p2 = subprocess.Popen(report_cmd, shell=True, stdout=subprocess.PIPE)
    print(p2.stdout.read().decode('utf-8'))

组装jmx

每一测试计划为一个jmx文件，jmx实际上是xml格式的，包含一些JMeter自定义的格式规范。
常用的组件有：

• : 测试计划
• : 线程组
• : CSV数据文件
• : HTTP请求
• : HTTP请求头管理器
• : Cookies管理器
• : DNS缓存管理器
• : 监听器(包括查看结果树、聚合报告等)
• ： 响应断言
• <io.github.ningyu.jmeter.plugin.dubbo.sample.DubboSample></io.github.ningyu.jmeter.plugin.dubbo.sample.DubboSample>: 三方Dubbo请求插件

[ Dubbo插件jmeter-plugins-dubbo下载链接 ](https://github.com/thubbo/jmeter-plugins-
for-apache-dubbo/releases)

jmx中，如果一个组件有子组件，格式为

    <ThreadGroup 组件基本属性>
       ...线程组配置
    </ThreadGroup>
    <hashTree>
       ...内部子组件
    </hashTree>
    ・・・
    如果不包含子组件，则后面接一个<hashTree/> 单标签直接结束，例如：
    ```xml
    <CSVDataSet>
      ... CSV数据组件配置
    </CSVDataSet>
    <hashTree/>

详细的格式可以自己使用JMeter创建一个测试计划，使用文本文件打开jmx文件查看。

使用Python组装jmx文件的方式有两种，一种是固定模板的数据渲染，一种类似JMeter的逐个组件添加，第一种比较简单。
通过分析jmx文件中的变量，我们使用jinja2模板语法，将其中的变量进行参数化，对需要判断和循环的变量设置if和for循环。

Jinja2中文文档

假设我们的测试计划结构为：

    测试计划
      DNS缓存管理器
      Cookies管理器
      CSV文件(多个)
      ...
      聚合报告
      线程组(多个)
        CSV文件(多个)
        HTTP请求(或Dubbo请求)
          HTTP请求头管理器
          CSV文件(多个)
          响应断言
          察看结果树

将jmx中的关键数据抽取并组合，我使用的完整数据格式如下：

data.yaml

    test_plan_name: 测试计划
    comments: 测试计划描述
    hosts:
     - name: las.secoo.com
      address: 112.126.120.128
    cookies:
     clear_each_iteration: 'true'
    csv_files:
     - {
   'name': '数据文件1', 'path': 'data.csv', 'varnames': 'a,b', 'delimiter': ','}
     - {
   'name': '数据文件2', 'path': 'data.csv', 'varnames': 'c,d', 'delimiter': ','}
    thread_groups:
     - thread_group_name: 线程组1
      comments: 线程组1描述
      enabled: 'true'
      num_threads: 50
      loops: -1
      ramp_time: 0
      scheduler: 'true'
      duration: 30
      delay: ''
      http_samples:
       - request_name: HTTP-GET
        enabled: 'true'
        csv_files:
         - {
   'name': '数据文件4', 'path': 'data.csv', 'varnames': 'a,b', 'delimiter': ','}
        request:
         protocol: https
         domain: httpbin.org
         port: ''
         encoding: ''
         path: /get
         method: GET
         connect_timeout: ''
         response_timeout: ''
         params: {
   'a': 1, 'b': 2}
         headers: {
   'token': 'aaaaaa', 'x-text': 'bbbbb'}
         follow_redirects: 'false'
         auto_redirects: 'false'
         use_keepalive: 'false'
        validate:
         - test_field: response_data # response_data响应文本 response_code响应代码response_message响应信息response_headers
          # 请求头request_headers sample_label URL样本 response_data_as_document文档(文本) 请求数据request_data
          test_type: 2 # 2 包括 1匹配 8 相等 16字符串 否+4 或者+32
          strings: ['a', 'b']
       - request_name: HTTP-POST
        enabled: 'true'
        request:
         protocol: https
         domain: httpbin.org
         port: ''
         encoding: ''
         path: /post
         method: POST
         data: {
   'c': 3, 'd': 4}
         follow_redirects: 'false'
         auto_redirects: 'false'
         use_keepalive: 'false'
         connect_timeout: ''
         response_timeout: ''
       - request_name: HTTP-JSON
        enabled: 'true'
        request:
         protocol: https
         domain: httpbin.org
         port: ''
         encoding: ''
         path: /post
         method: POST
         connect_timeout: ''
         response_timeout: ''
         raw_data: '{"e": 5, "f": 6}'
         follow_redirects: 'false'
         auto_redirects: 'false'
         use_keepalive: 'false'
     - thread_group_name: 线程组2
      comments: 线程组2描述
      enabled: 'false'
      num_threads: 50
      loops: -1
      ramp_time: 0
      scheduler: 'true'
      duration: 30
      delay: ''
      csv_files:
       - {
   'name': '数据文件3', 'path': 'data.csv', 'varnames': 'a,b','delimiter': '\t'}
      dubbo_samples:
       - request_name: 查询运费接口-dubbo
        enabled: 'true'
        registry:
         type: zookeeper
         group: ''
         address: 'zk-mall1.secoolocal.com:5181?backup=zk-mall2.secoolocal.com:5181,zk-mall3.secoolocal.com:5181'
        dubbo:
         timeout: 100
         retires: 0
         group: ''
         connections: 100
         load_balance: random
         cluster: failfast
         service: 'com.secoo.business.config.rpc.service.BusinessConfigStoreService'
         method: queryFreight
         headers:
          Content-Type: 'application/json'
         params:
          - type: java.util.List
           value: ${
   freight_wareHouseId_sendAreaId}
          - type: java.lang.String
           value: 110100
          - type: java.util.List
           value: ${
   freight_wareHouseId_sendAreaId}
        validate:
         - test_field: response_data # response_data响应文本 response_code响应代码response_message响应信息response_headers
          test_type: 16 # 2 包括 1匹配 8 相等 16字符串 否+4 或者+32
          strings: ['"code": 0']

对应的模板文件tpl.xml代码如下：

    <?xml version="1.0" encoding="UTF-8"?>
    <jmeterTestPlan version="1.2" properties="5.0" jmeter="5.3">
     <hashTree>
      <TestPlan guiclass="TestPlanGui" testclass="TestPlan" testname="{
   {test_plan_name}}" enabled="true">
       <stringProp name="TestPlan.comments">{
   {
   comments}}</stringProp>
       <boolProp name="TestPlan.functional_mode">false</boolProp>
       <boolProp name="TestPlan.tearDown_on_shutdown">