pytest框架实战项目-数据驱动+关键字驱动

一、框架介绍

本框架主要是基于Python+pytest+allure+log+yaml+csv+Jenkins实现的接口自动化框架，本系统最大特点为：系统使用数据驱动+关键字驱动模式，只需编写csv文件即可实现新增测试用例。

• pytest版本：pytest 7.1.2
• python版本：Python 3.7.7
• allure版本：allure 2.19.0
• Jenkins地址：jenkins

二、实现功能

1. 测试数据隔离, 实现数据驱动
2. yaml文件实现动态参数处理，实现关键字驱动
3. 自定义断言: 接口校验响应参数时，可从csv文件中取出响应文本；同时yaml模板中已有响应代码
4. 自动生成用例代码: 测试人员在csv文件中填写好测试用例, 程序可以直接生成yaml代码，纯小白也能使用
5. 代理录制: 支持代理录制，生成yaml格式的测试用例；如使用fiddle导出har文件，在Terminal中输入 har2case xxx.har -2y 转为yaml文件
6. 统计接口的运行时长: 拓展功能，订制开关，可以决定是否需要使用，使用装饰器调用，方便管理
7. 日志模块: 打印每个接口的日志信息，同样订制了开关，可以决定是否需要打印日志(待实现)
8. 自定义拓展字段: 如用例中需要编写yaml文件、读取yaml文件，可直接调用

三、目录结构（其中未写出的表示用于调试或非本项目文件）

• pytest_demo 项目根目录
  • common 公共类，公共方法文件夹
    • log_util.py
    • public_func.py
  • configs 配置文件、运行模板
    • config.yaml
    • readme.text
    • test_case.yaml
    • test_select_template.yaml
    • test_update_template.yaml
  • data 测试用例数据文件夹
    • select_case
    • update_case
  • logs 函数运行日志文件夹
    • func_move_log.txt
  • reports allure报告生成文件夹
    • index.html
    • …
  • temp 用于保存生成allure报告的json数据
    • …
  • testcases 测试用例文件
    • test_case_of_demo.py
  • pytest.ini 运行规则
  • requirements.txt 运行项目需要导的包
  • all.py 测试用例运行总入口

四、创建用例

1. 在data文件夹下方创建相关的测试csv用例，可新建一份csv文件，也可直接在other.csv文件中编写测试用例

name,url,method,msg,data
精品库存,/api/boutiqueStock/boutiqueStockDetailReport.json,POST,查询成功,"{""max"":15,""offset"":0,""pageList"":[15],""regionId"":""82"",""bUnitId"":""1""}"

2. 用例文件基本规则：
   1. csv文件首行必须使用这五个字段，且必须都为小写
   2. 文件编码格式严格要求为UTF-8，其他编码无法读取
   3. 字段可随意调换前后顺序
   4. method字段下的数据不区分大小写

name,url,method,msg,data

3. 写完之后，如果不是新增的csv文件则添加完即可；是新添加的csv文件，则需要在下列代码中，新增一个方法将你新增的csv文件路径写入其中

class Test_case:
    @pytest.mark.parametrize("data", get_teststeps("data/select_case/{新增文件名}.csv"))
    def test_{新增方法名}(self, data):
        parameters_request(data)

4. 执行test_case_of_demo.py文件之后，系统会根据你选择的csv文件自动匹配yaml文件模板中的关键字，从而生成测试数据
5. 你可以发现，在运行过程中，与运行结束时，系统中的test_case.yaml文件为空，这里使用了后置固件，在运行用例结束后系统会调用clean_yaml()方法清空此文件，避免遗留数据对下一个用例造成影响

五、运行流程

• 运行 text_case_of_demo.py 文件，文件将get_teststeps()作为参数传递给parameters_request()方法

1. get_teststeps()方法生成字典列表，列表中的一个字典表示一条用例

# 获取测试用例列表
def get_teststeps(csv_file):
    case_template = r"configs/test_select_template.yaml"
    case_file = r"configs/test_case.yaml"
    csv_file = csv_file
    envReplaceYaml(csv_file, case_template, case_file)
    yml_data = read_yaml(case_file)
    return yml_data

2. envReplaceYaml()方法用于生成基于模板的测试用例

def envReplaceYaml(csv_file, yaml_file, new_yaml_file):
    """:param 关键字驱动"""
    try:
        with ExitStack() as stack:
            yml_file = stack.enter_context(open(get_path()+yaml_file, 'r', encoding="utf-8"))
            yml_output = stack.enter_context(open(get_path()+new_yaml_file, 'w', encoding="utf-8"))
            yml_file_lines = yml_file.readlines()
            profileList = fromCsvToJson(csv_file)
            # profileList的长度即为测试用例的数量
            for i in range(0, len(profileList)):
                for line in yml_file_lines:
                    new_line = line
                    # 如果找到以“${”开头的字符串
                    if new_line.find('${') > 0:
                        # 对字符串以“:”切割
                        env_list = new_line.split(':')
                        # 取“:”后面的部分，去掉首尾空格，再以“{”切割，再以“}”切割取出变量名称，比如“name”
                        env_name = env_list[1].strip().split('{', 1)[1].split('}')[0]
                        if env_name in profileList[i].keys():
                            replacement = profileList[i][env_name]
                            for j in range(0, len(profileList)):
                                new_line = new_line.replace(env_list[1].strip(), replacement)
                    yml_output.write(new_line)
                yml_output.write("\n")
    except IOError as e:
        print("Error: " + format(str(e)))
        raise

3. parameters_request()方法中加入了接口校验与断言，用来判断用例是否通过

def parameters_request(request_data: dict, system="oa", environment="110_url"):
    if type(request_data) is list:      # 此判断是区分用例执行还是调试使用，用例数据为字典列表
        request_data = request_data[0]
    request = request_data["request"]
    validate = request_data["validate"]
    method = request["method"]
    url_path = re.findall("(.*?)/api", system_environment(system, environment)[1])[0]
    url = url_path + request["url"]
    data = request["data"]
    headers = request["headers"]
    headers.update(parameter_check(system, environment))
    response = send_request(method=method, url=url, data=data, headers=headers)
    if response.status_code == 200:
        assert_validate(dict(response.json()), validate)
    else:
        raise TypeError('the response status.code is %s' % response.status_code)
    return response

4. system_environment()方法用于判断系统及环境, 返回ip路径及账号密码等信息

def system_environment(system, environment):
    file_env = r"configs/config.yaml"
    if environment in ["110_url", "test_url", "onLine_url"]:
        json_data = read_yaml(file_env)[environment]
        if system.lower() == "oa":
            url = json_data["url1"] + json_data["url_oa"]
        elif system.lower() == "finance":
            url = json_data["url2"] + json_data["url_financial"]
        else:
            raise KeyError(f"config.yaml中未找到”{system}“系统")
    else:
        raise KeyError(f"config.yaml中未找到”{environment}“环境")
    return json_data, url

5. parameter_check()方法用于获取登录接口返回的token与sign等校验信息（其中key为固定值，加密方式为MD5）

def parameter_check(system, environment) -> dict:
    key = ""  # 加密密钥，暂不展示
    json_data, url = system_environment(system, environment)
    loginNum, password = json_data["username"], json_data["password"]
    data = {"loginNum": loginNum, "password": password}
    response = send_request("post", url, data)
    token = re.findall('"token":"(.*?)"', response.text)[0]
    now_time_new = int(round(time.time() * 1000))  # 当前时间时间戳
    middle = encrypt_md5(token + str(now_time_new))
    sign = encrypt_md5(middle + key)
    encryption = {"Authorization": token, "Timestamp": str(now_time_new), "Sign": sign}
    return encryption

6. teardown_class()方法用于，用例执行结束之后，清空test_case.yaml文件，防止历史数据干扰

@pytest.fixture(scope="class", autouse=True)
def teardown_class():
    clear_yaml("configs/test_case.yaml")

7. 用例运行结束之后，可在./reports/index.html中查看allure报告

六、扩展

• 文件上传接口模板实现
• 多线程模式运行时出现的登录失效问题
• 接口关联，数据共享实现
• jenkins部署+每日发送以邮件实现
• 运行测试用例时，日志格式化输出实现
• allure报告美化实现