allure与pytest

Allure介绍:

  • 一个轻量级、灵活的、支持多语言的测试报告工具
  • 支持多平台,奢华的report框架
  • 能提供详尽的测试报告、测试步骤、Log等信息
  • Java语言开发,但支持pytest、JavaScript、PHP、ruby等语言或框架
  • 可以集成到Jenkins

安装

Allure的使用,需要安装Java和Allure。

  • Java:由于Allure是Java语言开发的,所以需要安装Java;网上很多java的安装教程,这里就不详细说明了
  • Allure:本人只有win10系统的,所以本章主要是在win10下操作的
    • 下载地址:https://github.com/allure-framework/allure2/releases
      如果github下载不太顺畅,可以考虑别的网站:https://repo.maven.apache.org/maven2/io/qameta/allure/allure-commandline/
    • 配置环境变量:解压后将bin目录加入PATH环境变量
      在这里插入图片描述
    • 环境验证:命令行输入allure --version,能正常打印对应版本即可
      在这里插入图片描述
    • pytest要能使用allure,需要安装相应的插件:pip install allure-pytest

使用

官方教程:https://docs.qameta.io/allure
在这里插入图片描述

入门

想要看到allure报告,需要做2个步骤:
1、pytest执行时关联allure:pytest命令带上--alluredir 结果存放目录--alluredir=结果存放目录
2、打开执行报告:allure serve 结果存放目录
test_demo.py的内容如下:

def test_add_positive():
    assert 1 + 3 == 4

def test_add_negative():
    assert -1 + -3 == -4

执行用例:
在这里插入图片描述
执行命令成功后,会在当前目录下,生成result目录,result目录下存放了执行结果
在这里插入图片描述
通过allure serve ./result打开测试报告
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

allure装饰器

allure提供了一些装饰器,比较常用的如下:

方法参数值参数说明
@allure.epic(*epics)epic描述定义项目,当由多个项目时使用,一般传参一个字符串,表示项目名称。往下时feature
@allure.feature(*features)分支用例按照模块区分(类似于一个业务分了几个步骤/功能),一般传参一个字符串,表示分支名称。
@allure.story(*stories)故事类似于场景(即一个功能分为几个方面去验证),一般传参一个字符串,表示场景名称。
@allure.title(test_title)用例标题给指定的用例设置名称,在测试报告中,展示的用例名称不是函数名称,是设置的test_title
@allure.testcase(url, name=None)用例相关链接设置用例存放的地址,方便访问对应用例详情,name不为None时,文本显示为name,否则显示用例所在url
@allure.issue(url, name=None)缺陷地址对应缺陷管理系统里的缺陷地址,用法于testcase的类似
@allure.description(test_description)用例描述test_description参数里说明了当前用例的详细内容,比如说前置条件、验证场景、预期结果等需要关注的内容
@allure.link(url, link_type='link', name=None)定义连接用于定义一个需要在测试报告中展示的连接,url和name参数逻辑与allure.testcase()的一致,link_type默认是link,可为issue、test_case,设置为issue
allure.attach(body, name=None, attachment_type=None, extension=None)按照附件形式添加展示将python对象按照指定的附件类型展示在报告中,可支持的attachment_type(附件类型)在allure.attachment_type
allure.attach.file(source, name=None, attachment_type=None, extension=None)添加附件将文件按照指定的附件类型读取并展示到报告中,可支持的attachment_type(附件类型)在allure.attachment_type

epic、feature、story

epic、feature、story是存在层级关系的,在报告中进行层级展示。
示例如下:
test_demo.py内容如下:

import allure

@allure.epic("epic的使用1")
@allure.feature("测试模块1")
def test_case1():
    assert 1 + 3 == 4


@allure.feature("测试模块1")
def test_case2():
    assert -1 + -3 == -4

@allure.feature("测试模块1")
@allure.story("某部分验证1")
def test_case3():
    assert True

@allure.feature("测试模块1")
@allure.story("某部分验证1")
def test_case4():
    assert True

@allure.story("某部分验证1")
def test_case5():
    assert True

@allure.story("某部分验证2")
def test_case6():
    assert True

执行pytest test_demo.py --alluredir ./result命令,打开allure报告后如下:
在这里插入图片描述
点击Show all按钮,层级显示说明如下:
在这里插入图片描述

@allure.title()

@allure.title(test_title):是给指定的用例设置名称,在测试报告中,展示的用例名称不是函数名称,是设置的test_title
test_demo.py内容如下:

import allure

def test_case1():
    assert 1 + 3 == 4

@allure.title("测试xxxx点")
def test_case2():
    assert True

allure测试报告显示如下:
在这里插入图片描述

@allure.testcase()

@allure.testcase(url, name=None):是给指定的用例设置跳转链接url,如果name为None,则直接显示链接,如果name不为None,则报告中显示name,点击跳转到指定链接。一般是用来设置用例可访问的链接,直接跳转到用例详情
示例:
test_demo.py内容如下:

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.testcase("https://www.baidu.com/")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

@allure.testcase("https://www.baidu.com/", "用例所在位置")
def test_case3():
    print("这里是test_case3的测试内容")
    assert True

allure测试报告比较如下:
在这里插入图片描述

@allure.testcase()

@allure.issue(url, name=None):是给指定的用例设置缺陷链接url,如果name为None,则直接显示链接,如果name不为None,则报告中显示name,点击跳转到指定链接。一般是用来设置对应的缺陷链接,能直接跳转到指定的缺陷详情页面
示例:
test_demo.py内容如下:

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.issue("https://www.baidu.com/")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

@allure.issue("https://www.baidu.com/", "缺陷访问地址")
def test_case3():
    print("这里是test_case3的测试内容")
    assert True

allure报告显示如下:
在这里插入图片描述

@allure.description()

@allure.description(test_description):描述当前用例的详细信息,比如说前置条件、验证场景、预期结果等需要关注的内容。设置了之后,allure报告中,该用例的详情页面会展示Description字段,字段内容为test_description的内容
示例:
test_demo.py内容如下:

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.description("这条用例是为了验证...巴拉巴拉...的场景")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

allure报告中,test_case2()的执行详情显示如下:
在这里插入图片描述

@allure.link()

@allure.link(url, link_type='link', name=None) : 用于定义一个需要在测试报告中展示的连接,link_type默认是link,可为issue、test_case,设置为issues时与allure.issue()用法一致,为test_case时用法与allure.testcase()一致,url和name参数用法与allure.testcase()一致
示例:
test_demo.py内容如下:

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.link("https://www.baidu.com/")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

@allure.link("https://www.baidu.com/", name="相关业务文档")
def test_case3():
    print("这里是test_case3的测试内容")
    assert True

allure报告显示如下:
在这里插入图片描述

allure.step()

allure.step(title) : 类似于将测试过程分步骤执行,allure会统计步骤的执行情况,方便定位问题和调试。allure.step()内的代码如果执行成功,则allure报告中会显示该步骤执行成功,执行失败时会展示到对应的步骤。
allure.step(title)是针对测试过程的步骤,不建议装饰整个用例,建议放在测试用例方法或函数里,使用方式如下:

with allure.step("步骤说明"):
    # 代码实现对应步骤

示例:
test_demo.py内容如下:

import allure

def test_send_mail_without_step():
    print("步骤1:输入用户名admin,密码password")
    print("登录成功")
    print("步骤2:新建邮件")
    print("步骤3:编辑邮件")
    print("步骤4:发送邮件")
    print("发送成功消息提示")
    print("步骤5:退出确认")
    print("退出成功页面")


def test_send_mail_with_step_success():
    with allure.step("步骤1:用户登录"):
        print("输入用户名admin,密码password")
        print("登录成功")

    with allure.step("步骤2:新建并编辑邮件"):
        print("新建邮件")
        print("编辑邮件")

    with allure.step("步骤3:发送邮件"):
        print("发送邮件")
        print("发送成功消息提示")

    with allure.step("步骤4:退出登录"):
        print("退出确认")
        print("退出成功页面")

def test_send_mail_with_step_fail():
    with allure.step("步骤1:用户登录"):
        print("输入用户名admin,密码password")
        print("登录成功")

    with allure.step("步骤2:新建并编辑邮件"):
        print("新建邮件")
        assert False
        print("前面报错了,接下来的不会被执行了")
        print("编辑邮件")

    with allure.step("步骤3:发送邮件"):
        print("发送邮件")
        print("发送成功消息提示")

    with allure.step("步骤4:退出登录"):
        print("退出确认")
        print("退出成功页面")

allure报告显示如下:
在这里插入图片描述

@allure.severity()

@allure.severity(allure.severity_level.xxx) :支持给用例设置优先级,一旦用例执行失败,就可以确定缺陷的等级。目前allure可设置5种级别:

  • BLOCKER:阻塞缺陷,相当于主要功能未实现,非常严重
  • CRITICAL:严重缺陷,功能点缺失,或主流程虽然实现,但存在较大的问题
  • NORMAL:一般缺陷(边界情况、格式错误等)
  • MINOR:次要缺陷(界面与ui需求不符等)
  • TRIVIAL:轻微缺陷(比如无提示、用户体验不好等)

示例:
test_demo.py内容如下:

import allure

def test_case1():
    print("这里是test_case1的测试内容,未设置优先级")
    assert True

@allure.severity(allure.severity_level.BLOCKER)
def test_case2():
    print("这里是test_case2的测试内容,优先级为BLOCKER,阻塞缺陷")
    assert True

@allure.severity(allure.severity_level.CRITICAL)
def test_case3():
    print("这里是test_case3的测试内容,优先级为CRITICAL,严重缺陷")
    assert True

@allure.severity(allure.severity_level.NORMAL)
def test_case4_success():
    print("这里是test_case4的测试内容,优先级为NORMAL,一般缺陷")
    assert True

@allure.severity(allure.severity_level.NORMAL)
def test_case4_fail():
    print("这里是test_case的测试内容,优先级为")
    assert False

@allure.severity(allure.severity_level.MINOR)
def test_case5():
    print("这里是test_case5的测试内容,优先级为MINOR,次要的、较小的缺陷")
    assert True

@allure.severity(allure.severity_level.TRIVIAL)
def test_case6():
    print("这里是test_case6的测试内容,优先级为TRIVIAL,轻微缺陷(比如无提示、用户体验不好等)")
    assert True

执行后,allure报告显示如下:
在这里插入图片描述

allure.attach

allure提供了attach,支持在测试报告中添加附件,attach有2种方式,attach可以添加数据、文本、图片、视频、网页等数据
可支持的附件类型在allure.attachment_type中有定义:
在这里插入图片描述

方法说明
allure.attach(body, name=None, attachment_type=None, extension=None)将body的内容按照附件形式展示,name为附件名称,attachment_type为附件的类型,extension一般传附件的后缀
allure.attach.file(source, name=None, attachment_type=None, extension=None)将文件(source)按照附件形式展示到报告中,,name为附件名称,attachment_type为附件的类型,extension一般传附件的后缀。source是附件在本地的路径

attach()是将python对象以指定附件类型展示,attach.file()是将本地文件以指定附件类型展示在报告中,attach()是针对字符串等内容,attach.file()是针对文件。attach.file()会将文件中的内容按照指定附件类型 读取并展示 到报告中,attach()则是将python的字符串对象按照指定附件类型展示
示例:
test_demo.py内容如下:

import allure

@allure.title("attach.file()针对于文件来源的附件")
def test_attach_file():
    with allure.step("attach.file()添加图片"):
        allure.attach.file("D:\\test_code\\allure_demo\\csdn.png", name="csdn",
                           attachment_type=allure.attachment_type.PNG, extension=".png")

    # 没有指定name,系统会默认分配附件名称,CSV格式显示正常
    with allure.step("attach.file()添加CSV文件"):
        allure.attach.file("D:\\test_code\\allure_demo\\成绩表.csv",
                           attachment_type=allure.attachment_type.CSV)

@allure.title("attach()和attach.file()的区别")
def test_attach_or_file():
    with allure.step("attach.file()添加文本txt内容"):
        allure.attach.file("D:\\test_code\\allure_demo\\操作步骤.txt", name="文本标题:操作步骤",
                           attachment_type=allure.attachment_type.TEXT)

    # 参数一致,attach.file()会将文件中的内容按照指定附件类型读取并展示到报告中,attach()则是将python的字符串对象按照指定附件类型展示
    with allure.step("attach添加文本txt内容"):
        allure.attach("D:\\test_code\\allure_demo\\操作步骤.txt", name="文本标题:操作步骤",
                           attachment_type=allure.attachment_type.TEXT)

@allure.title("attach()的使用")
@allure.description("attach()将python对象按照指定的附件类型展示,attachment_type有/未指定类型时的区别")
def test_attach():
    # attach()的attachment_type参数,用来确定以什么类型展示,以下是attachment_type参数有无指定的情况
    with allure.step("attach添加HTML内容(指定了attachment_type为HTML格式)"):
        allure.attach('<a href="http://www.eastmoney.com">'
                      '<img class="ts-logo" src="https://g1.dfcfw.com/g3/201909/20190912110958.jpg" alt="东方财富网——财经资讯门户"></a>',
                      name="东方财富网首页", attachment_type=allure.attachment_type.HTML)

    with allure.step("attach添加HTML内容(未指定html格式,默认是文本形式)"):
        allure.attach('<a href="http://www.eastmoney.com">'
                      '<img class="ts-logo" src="https://g1.dfcfw.com/g3/201909/20190912110958.jpg" alt="东方财富网——财经资讯门户"></a>',
                      name="东方财富网首页")

使用到的附件内容如下:
在这里插入图片描述
执行pytest命令:>pytest test_demo.py --clean-alluredir --alluredir ./result,打开allure报告:allure serve ./result,相关的案例展示情况如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

pytest的allure参数

python 安装了 allure-pytest库之后,pytest命令可以使用allure的参数
在这里插入图片描述
常用的allure参数如下:

参数描述
--alluredir=DIR将pytest执行结果存放到指定的目录DIR
--clean-alluredirpytest的执行结果,allure默认是累计的,即会加上之前的执行统计结果,加上这个参数后会只统计当前执行结果。比如第二次执行后打开allure报告,会显示有第一次执行的内容,只想要本次执行结果的,可以加上该参数
--allure-severities=SEVERITIES_SET指定执行对应优先级的用例,SEVERITIES_SET中,如果有多个优先级,使用英文逗号,连接
--allure-epics=EPICS_SET执行执行对应的epic的用例,多个epic时使用英文逗号,连接
--allure-features=FEATURES_SET执行执行对应的feature的用例,多个feature时使用英文逗号,连接
--allure-stories=STORIES_SET执行执行对应的story的用例,多个story时使用英文逗号,连接

示例(参数内容的示例都是用当前的代码):
test_demo.py内容如下:

import allure

@allure.epic("epic1的用例")
@allure.feature("feature2的用例")
def test_case1():
    print("这里是test_case1的测试内容,未设置优先级")
    assert True

@allure.story("story2的用例")
@allure.severity(allure.severity_level.BLOCKER)
def test_case2():
    print("这里是test_case2的测试内容,优先级为BLOCKER,阻塞缺陷")
    assert True

@allure.epic("epic1的用例")
@allure.story("story1的用例")
@allure.testcase("https://wwww.baidu.com")
@allure.severity(allure.severity_level.CRITICAL)
def test_case3():
    print("这里是test_case3的测试内容,优先级为CRITICAL,严重缺陷")
    assert True

@allure.epic("epic3的用例")
@allure.feature("feature2的用例")
@allure.severity(allure.severity_level.NORMAL)
def test_case4_success():
    print("这里是test_case4的测试内容,优先级为NORMAL,一般缺陷")
    assert True

@allure.feature("feature1的用例")
@allure.story("story3的用例")
@allure.severity(allure.severity_level.NORMAL)
def test_case4_fail():
    print("这里是test_case的测试内容,优先级为NORMAL")
    assert False

@allure.epic("epic2的用例")
@allure.severity(allure.severity_level.MINOR)
def test_case5():
    print("这里是test_case5的测试内容,优先级为MINOR,次要的、较小的缺陷")
    assert True

@allure.feature("feature3的用例")
@allure.severity(allure.severity_level.TRIVIAL)
def test_case6():
    print("这里是test_case6的测试内容,优先级为TRIVIAL,轻微缺陷(比如无提示、用户体验不好等)")
    assert True

统计当前执行结果

--clean-alluredir是只统计当前的执行情况,不会包含之前的统计情况。
示例:
执行了pytest test_demo.py --alluredir ./result命令后,再执行pytest test_demo.py::test_case4_fail --alluredir ./result命令
在这里插入图片描述

打开allure报告,显示如下:
在这里插入图片描述
加了--clean-alluredir参数后(即执行命令:pytest test_demo.py::test_case4_fail --alluredir ./result --clean-alluredir),打开allure报告,展示如下:
在这里插入图片描述
在这里插入图片描述加了--clean-alluredir参数后,allure报告就只展示当前的执行结果,不包含之前的执行结果。

allure过滤用例

按照优先级

在这里插入图片描述
allure报告展示如下:
在这里插入图片描述

按照epic

在这里插入图片描述
在这里插入图片描述

按照feature

在这里插入图片描述
在这里插入图片描述

按照story

在这里插入图片描述
在这里插入图片描述

生成报告

我们在进行测试用例执行时,经常会有失败的用例需要调试,所以中间可能会有多个版本的测试报告,然后又个最终版本的测试报告。
报告的数据肯定是从pytest执行用例统计得来的。pytest执行用例时,需要加上--alluredir 存储路径参数,将pytest的执行统计结果存放到指定的存储路径,查看测试报告,有2种方式:

  • 方式1:测试完成后查看实际报告(在线看报告),命令为allure server 存储路径
  • 方式2:从结果生成报告再打开报告;
    • 先生成报告:allure generate 存储路径 -o 新路径 --clean(注意:覆盖路径加–clean)
    • 打开报告:allure open -h ip地址 -p 端口 新路径

2种方式都是统计最近一次pytest命令执行后的结果,pytest中有些参数也会影响报告的统计结果,比如加了--clean-alluredir就只会显示当前pytest执行用例的统计结果,而不会将之前的统计结果包含进来。所以从执行结果统计来说,方式1和方式2对pytest执行结果统计是一样的,只是渲染成html的方式不一样,方式1用于本地渲染和查看,方式2用于本地渲染和对外展示(即给其他设备也能查看)

方式1前面的示例用过多次了,这里主要讲下方式2:方式2是对已统计的pytest执行结果生成新的测试报告:
test_demo.py内容如下:

import pytest

def test_passed():
    assert True

def test_fail():
    assert False

def test_skip():
    pytest.skip("测试跳过这条用例")

def test_broken():
    raise ValueError("测试出现异常")

执行Pytest命令:
在这里插入图片描述
从上面截图可以看出,当前目录自动生成了个result目录,目录内容有json(有时候有txt),是本次pytest执行统计结果。接下来根据result生成静态报告:
在这里插入图片描述
allure generate执行成功后,当前目录自动生成report目录,存放了生成的html文件及其组件、数据内容
在这里插入图片描述
直接从文件双击打开到浏览器的话,数据是加载不出来的,如下:
在这里插入图片描述
我们可以使用allure open -h ip地址 -p 端口 新路径命令打开报告:
在这里插入图片描述
在这里插入图片描述

  • 4
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值