python+requests+pytest+allure自动化框架

1.核心库

1. requests request请求
2. openpyxl excel文件操作
3. loggin 日志
4. smtplib 发送邮件
5. configparser
6. unittest.mock mock服务

2.目录结构

• base
• utils
• testDatas
• conf
• testCases
• testReport
• logs
• 其他

2.1base

• base_path.py 存放绝对路径,dos命令或Jenkins执行时,防止报错
• base_requests.py 封装requests,根据method选择不同的方法执行脚本,同时处理请求异常

2.1.1 base_path.py

1. import os

3. # 项目根路径

4. _root_path = os.path.split(os.path.split(os.path.realpath(__file__))[0])[0]

6. # 报告路径

7. report_path = os.path.join(_root_path, 'testReport', 'report.html')

9. # 日志路径

10. log_path = os.path.join(_root_path, 'logs/')

12. # 配置文件路径

13. conf_path = os.path.join(_root_path, 'conf', 'auto_test.conf')

15. # 测试数据路径

16. testdatas_path = os.path.join(_root_path, 'testDatas')

18. # allure 相关配置

19. _result_path = os.path.join(_root_path, 'testReport', 'result')

20. _allure_html_path = os.path.join(_root_path, 'testReport', 'allure_html')

21. allure_command = 'allure generate {} -o {} --clean'.format(_result_path, _allure_html_path)

2.1.2 base_requests.py

1. import json

2. import allure

3. import urllib3

4. import requests

5. import warnings

6. from bs4 import BeautifulSoup

7. from base.base_path import *

8. from requests.adapters import HTTPAdapter

9. from utils.handle_logger import logger

10. from utils.handle_config import handle_config as hc

13. class BaseRequests:

15. def __init__(self, case, proxies=None, headers=None, cookies=None, timeout=15, max_retries=3):

16. '''

17. :param case: 测试用例

18. :param proxies: The result is displayed in fiddler：

19. {"http": "http://127.0.0.1:8888", "https": "https://127.0.0.1:8888"}

20. :param headers: 请求头

21. :param cookies: cookies

22. :param timeout: 请求默认超时时间15s

23. :param max_retries: 请求超时后默认重试3次

24. '''

25. self.case = case

26. self.proxies = proxies

27. self.headers = headers

28. self.cookies = cookies

29. self.timeout = timeout

30. self.max_retries = max_retries

31. self.base_url = hc.operation_config(conf_path, 'BASEURL', 'base_url')

33. def get_response(self):

34. '''获取请求结果'''

35. response = self._run_main()

36. return response

38. def _run_main(self):

39. '''发送请求'''

40. method = self.case['method']

41. url = self.base_url + self.case['url']

42. if self.case['parameter']:

43. data = eval(self.case['parameter'])

44. else:

45. data = None

47. s = requests.session()

48. s.mount('http://', HTTPAdapter(max_retries=self.max_retries))

49. s.mount('https://', HTTPAdapter(max_retries=self.max_retries))

50. urllib3.disable_warnings() # 忽略浏览器认证(https认证)警告

51. warnings.simplefilter('ignore', ResourceWarning) # 忽略 ResourceWarning警告

53. res=''

54. if method.upper() == 'POST':

55. try:

56. res = s.request(method='post', url=url, data=data, verify=False, proxies=self.proxies, headers=self.headers, cookies=self.cookies, timeout=self.timeout)

57. except Exception as e:

58. logger.error('POST请求出错，错误信息为：{0}'.format(e))

60. elif method.upper() == 'GET':

61. try:

62. res = s.request(method='get', url=url, params=data, verify=False,proxies=self.proxies, headers=self.headers, cookies=self.cookies, timeout=self.timeout)

63. except Exception as e:

64. logger.error('GET请求出错，错误信息为：{0}'.format(e))

65. else:

66. raise ValueError('method方法为get和post')

67. logger.info(f'请求方法:{method}，请求路径:{url}, 请求参数:{data}, 请求头:{self.headers}, cookies:{self.cookies}')

69. # with allure.step('接口请求信息：'):

70. # allure.attach(f'请求方法:{method}，请求路径:{url}, 请求参数:{data}, 请求头:{headers}')

72. # 拓展:是否需要做全量契约验证?响应结果是不同类型时,如何处理响应?

73. return res

76. if __name__ == '__main__':

77. # case = {'method': 'get', 'url': '/article/top/json', 'parameter': ''}

78. case = {'method': 'post', 'url': '/user/login', 'parameter': '{"username": "xbc", "password": "123456"}'}

79. response = BaseRequests(case).get_response()

80. print(response.json())

2.2 utils

(只取核心部分)

• handle_excel.py
  - excel的操作,框架要求,最终读取的数据需要保存列表嵌套字典的格式[{},{}]
  - 其他操作
• handle_sendEmail.py
  - python发送邮件使用smtp协议,接收邮件使用pop3
  - 需要开启pop3服务功能,这里的password为授权码,启用服务自行百度
• handle_logger.py 日志处理
• handle_config.py
  配置文件处理,这里只将域名可配置化,切换环境时改域名即可
• handle_allure.py
  allure生成的报告需要调用命令行再打开,这里直接封装命令
• handle_cookies.py(略)
  在git中补充,处理cookiesJar对象
• handle_mock.py(略)
  在git中补充,框架未使用到,但是也封装成了方法
• param_replace(略)
  将常用的参数化操作封装成类

2.2.1 handle_excel.py

1. import os

3. # 项目根路径

4. _root_path = os.path.split(os.path.split(os.path.realpath(__file__))[0])[0]

6. # 报告路径

7. report_path = os.path.join(_root_path, 'testReport', 'report.html')

9. # 日志路径

10. log_path = os.path.join(_root_path, 'logs/')

12. # 配置文件路径

13. conf_path = os.path.join(_root_path, 'conf', 'auto_test.conf')

15. # 测试数据路径

16. testdatas_path = os.path.join(_root_path, 'testDatas')

18. # allure 相关配置

19. _result_path = os.path.join(_root_path, 'testReport', 'result')

20. _allure_html_path = os.path.join(_root_path, 'testReport', 'allure_html')

21. allure_command = 'allure generate {} -o {} --clean'.format(_result_path, _allure_html_path)

2.2.2 handle_sendEmail.py

1. import smtplib

2. from utils.handle_logger import logger

3. from email.mime.text import MIMEText # 专门发送正文邮件

4. from email.mime.multipart import MIMEMultipart # 发送正文、附件等

5. from email.mime.application import MIMEApplication # 发送附件

7. class HandleSendEmail:

9. def __init__(self, part_text, attachment_list, password, user_list, subject='interface_autoTestReport', smtp_server='smtp.163.com', from_user='hu_chunpu@163.com', filename='unit_test_report.html'):

10. '''

11. :param part_text: 正文

12. :param attachment_list: 附件列表

13. :param password: 邮箱服务器第三方密码

14. :param user_list: 收件人列表

15. :param subject: 主题

16. :param smtp_server: 邮箱服务器

17. :param from_user: 发件人

18. :param filename: 附件名称

19. '''

20. self.subject = subject

21. self.attachment_list = attachment_list

22. self.password = password

23. self.user_list = ';'.join(user_list) # 多个收件人

24. self.part_text = part_text

25. self.smtp_server = smtp_server

26. self.from_user = from_user

27. self.filename = filename

29. def _part(self):

30. '''构建邮件内容'''

31. # 1) 构造邮件集合体：

32. msg = MIMEMultipart()

33. msg['Subject'] = self.subject

34. msg['From'] = self.from_user

35. msg['To'] = self.user_list

37. # 2) 构造邮件正文：

38. text = MIMEText(self.part_text)

39. msg.attach(text) # 把正文加到邮件体里面

41. # 3) 构造邮件附件：

42. for item in self.attachment_list:

43. with open(item, 'rb+') as file:

44. attachment = MIMEApplication(file.read())

45. # 给附件命名：

46. attachment.add_header('Content-Disposition', 'attachment', filename=item)

47. msg.attach(attachment)

49. # 4) 得到完整的邮件内容：

50. full_text = msg.as_string()

51. return full_text

53. def send_email(self):

54. '''发送邮件'''

55. # qq邮箱必须加上SSL

56. if self.smtp_server == 'smtp.qq.com':

57. smtp = smtplib.SMTP_SSL(self.smtp_server)

58. else:

59. smtp = smtplib.SMTP(self.smtp_server)

60. # 登录服务器：.login(user=email_address,password=第三方授权码)

61. smtp.login(self.from_user, self.password)

62. logger.info('--------邮件发送中--------')

63. try:

64. logger.info('--------邮件发送成功--------')

65. smtp.sendmail(self.from_user, self.user_list, self._part())

66. except Exception as e:

67. logger.error('发送邮件出错，错误信息为：{0}'.format(e))

68. else:

69. smtp.close() # 关闭连接

71. if __name__ == '__main__':

72. from base.base_path import *

73. part_text = '附件为自动化测试报告,框架使用了pytest+allure'

74. attachment_list = [report_path]

75. password = ''

76. user_list = ['']

77. HandleSendEmail(part_text, attachment_list, password, user_list).send_email()

2.2.3 handle_logger.py

1. import sys

2. import logging

3. from time import strftime

4. from base.base_path import *

6. class Logger:

8. def __init__(self):

9. # 日志格式

10. custom_format = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s: %(message)s'

11. # 日期格式

12. date_format = '%a, %d %b %Y %H:%M:%S'

14. self._logger = logging.getLogger() # 实例化

15. self.filename = '{0}{1}.log'.format(log_path, strftime("%Y-%m-%d")) # 日志文件名

16. self.formatter = logging.Formatter(fmt=custom_format, datefmt=date_format)

17. self._logger.addHandler(self._get_file_handler(self.filename))

18. self._logger.addHandler(self._get_console_handler())

19. self._logger.setLevel(logging.INFO) # 默认等级

21. def _get_file_handler(self, filename):

22. '''输出到日志文件'''

23. filehandler = logging.FileHandler(filename, encoding="utf-8")

24. filehandler.setFormatter(self.formatter)

25. return filehandler

27. def _get_console_handler(self):

28. '''输出到控制台'''

29. console_handler = logging.StreamHandler(sys.stdout)

30. console_handler.setFormatter(self.formatter)

31. return console_handler

33. @property

34. def logger(self):

35. return self._logger

37. '''

38. 日志级别：

39. critical 严重错误，会导致程序退出

40. error 可控范围内的错误

41. warning 警告信息

42. info 提示信息

43. debug 调试程序时详细输出的记录

44. '''

45. # 实例

46. logger = Logger().logger

49. if __name__ == '__main__':

50. import datetime

51. logger.info(u"{}:开始XXX操作".format(datetime.datetime.now()))

2.2.4 handle_config.py

1. import configparser

3. # 配置文件类

4. class HandleConfig:

5. def operation_config(self, conf_file, section, option):

6. cf = configparser.ConfigParser() # 实例化

7. cf.read(conf_file)

8. value = cf.get(section, option) # 定位

9. return value

12. handle_config = HandleConfig()

13. if __name__ == '__main__':

14. from base.base_path import *

15. base_url = handle_config.operation_config(conf_path, 'BASEURL', 'base_url')

16. print(base_url)

2.2.5 handle_allure.py

1. import subprocess

2. from base.base_path import *

4. class HandleAllure(object):

6. def execute_command(self):

7. subprocess.call(allure_command, shell=True)

9. handle_allure = HandleAllure()

2.3testDatas

excel测试用例文件,必须是.xlsx结尾,用例结构如下:

2.4conf

放置配置文件 .conf结尾

2.5 testCases

• conftest.py
  - fixture功能,用例前置后置操作
  - 构造测试数据
  - 其他高级操作
  - 注意邮件中的password和user_list需要换成自己测试的邮箱及服务密码
• test_wanAndroid.py 测试用例脚本
  - 参数化: pytest.mark.parametrize('case',[{},{}])
  - 接口关联:
  - 将关联的参数配置成全局变量
  - 在用例执行前使用全局变量替换参数
  - 使用 is_run 参数指明有参数化的用例,并取出,再赋值给全局变量
  - cookies:
  - 和接口关联的处理方式一样处理cookies
  - 步骤
  - 收集用例
  - 执行用例
  - 断言
  - 构造测试报告
  - 发送邮件

2.5.1 conftest.py

1. import pytest

2. from base.base_path import *

3. from utils.handle_logger import logger

4. from utils.handle_allure import handle_allure

5. from utils.handle_sendEmail import HandleSendEmail

7. '''

8. 1. 构造测试数据??

9. 2. fixture 替代 setup,teardown

10. 3. 配置 pytest

11. '''

13. def pytest_collection_modifyitems(items):

14. """

15. 测试用例收集完成时，将收集到的item的name和nodeid的中文显示在控制台上

16. """

17. for item in items:

18. item.name = item.name.encode("utf-8").decode("unicode_escape")

19. item._nodeid = item.nodeid.encode("utf-8").decode("unicode_escape")

20. # print(item.nodeid)

22. @pytest.fixture(scope='session', autouse=True)

23. def send_email():

24. logger.info('-----session级,执行wanAndroid测试用例-----')

25. yield

26. logger.info('-----session级,wanAndroid用例执行结束,发送邮件:-----')

27. """执行alllure命令 """

28. handle_allure.execute_command()

29. # 发邮件

30. part_text = '附件为自动化测试报告,框架使用了pytest+allure'

31. attachment_list = [report_path]

32. password = ''

33. user_list = ['']

34. HandleSendEmail(part_text, attachment_list, password, user_list).send_email()

2.5.2 test_wanAndroid.py

1. import json

2. import pytest

3. import allure

4. from base.base_requests import BaseRequests

5. from utils.handle_logger import logger

6. from utils.handle_excel import HandleExcel

7. from utils.param_replace import pr

8. from utils.handle_cookies import get_cookies

10. handle_excel = HandleExcel()

11. get_excel_data = HandleExcel().get_excel_data()

12. ID = ''

13. COOKIES = {}

14. PAGE = ''

16. class TestWanAndroid:

18. @pytest.mark.parametrize('case', get_excel_data)

19. def test_wanAndroid(self, case):

20. global ID

21. global COOKIES

22. # 参数替换

23. case['url'] = pr.relevant_parameter(case['url'], '${collect_id}', str(ID))

25. if case['is_run'].lower() == 'yes':

26. logger.info('------执行用例的id为：{0}，用例标题为：{1}------'.format(case['case_id'], case['title']))

27. res = BaseRequests(case, cookies=COOKIES).get_response()

28. res_json = res.json()

30. # 获取登录后的cookies

31. if case['case_id'] == 3:

32. COOKIES = get_cookies.get_cookies(res)

34. if case['is_depend']:

35. try:

36. ID = res_json['data']['id']

37. # 将使用的参数化后的数据写入excel

38. handle_excel.rewrite_value('id={}'.format(ID), case['case_id'], 'depend_param')

39. except Exception as e:

40. logger.error(f'获取id失败,错误信息为{e}')

41. ID = 0

43. # 制作 allure 报告

44. allure.dynamic.title(case['title'])

45. allure.dynamic.description('<font color="red">请求URL：</font>{}<br />'

46. '<font color="red">期望值：</font>{}'.format(case['url'], case['excepted']))

47. allure.dynamic.feature(case['module'])

48. allure.dynamic.story(case['method'])

50. result=''

51. try:

52. assert eval(case['excepted'])['errorCode'] == res_json['errorCode']

53. result = 'pass'

54. except AssertionError as e:

55. logger.error('Assert Error：{0}'.format(e))

56. result = 'fail'

57. raise e

58. finally:

59. # 将实际结果格式化写入excel

60. handle_excel.rewrite_value(json.dumps(res_json, ensure_ascii=False, indent=2, sort_keys=True), case['case_id'], 'actual')

61. # 将用例执行结果写入excel

62. handle_excel.rewrite_value(result, case['case_id'], 'test_result')

65. def test_get_articleList(self):

66. '''翻页,将page参数化'''

67. global PAGE

68. pass

71. def test_mock_demo(self):

72. '''使用mock服务模拟服务器响应'''

73. pass

76. if __name__ == '__main__':

77. pytest.main(['-q', 'test_wanAndroid.py'])

2.6 testReport

• 存放html测试报告,安装插件pip install pytest-html
• 存放allure测试报告,插件安装pip install allure-pytest

2.7 logs

存放日志文件

2.8 其他文件

• run.py 主运行文件
• pytest.ini 配置pytest的默认行为,运行规则等
• requirements.txt 依赖环境
  - 自动生成 pip freeze
  - 安装 pip -r install requirements.txt

3.总结

1. allure有很多有趣的操作,甚至控制用例执行行为,有兴趣可以拓展,也可以看下之前的博客
2. 实现框架的难点在接口依赖
3. 接口自动化应避免复杂的接口依赖,复杂的依赖只会造成测试的不可控性
4. 注意频繁的操作excel会消耗性能
5. 有兴趣可以将本框架集合在Jenkins中
6. 本文的demo接口均采用至本站,感谢作者提供的免费接口
   https://www.wanandroid.com/
7. 项目git地址:…(git加密了,后续补上))

 

总结：

感谢每一个认真阅读我文章的人！！！

作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。

软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

 

          视频文档获取方式：
这份文档和视频资料，对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！以上均可以分享，点下方小卡片即可自行领取。