Jenkins集成Newman注意点——Newman运行多个Collections不一定会导致Job失败

0.前言

在接口测试中，Postman可谓是独领风骚，Newman可以命令行界面运行Postman编写的文件，搭配Jenkins可以实现一键接口自动化测试。

1.使用场景

理想的接口自动化测试，是在Jenkins中构建项目之后，通过邮件来获取测试的结果。但是接口测试内容一般较多，测试的Collections、Folders和Environment都不尽相同。为了让测试报告更加集中，我们一般会使用Newman的多集合运行命令：

newman run <接口测试A.json> &&newman run <接口测试B.json> &&newman run <接口测试C.json>

亦或者是：

newman run <接口测试.json>  --folder 文件夹1  --folder 文件夹2  --folder 文件夹3 

2.注意点

这种多集合、多文件夹的运行结果可能会导致Jenkins的构建结果出错，即在接口有误的情况下，Jenkins依然汇报“Successfully”，反而让人疑惑。

Why？我们看一下Newman官方给出的Explanation：

If the 接口测试B.json takes long time to run than other two, then if we have any failures in <接口测试A.json> or <接口测试B.json> that will not be shown in the jenkins jobs or any CI tools such as bitbucket pipeline. This happens because the result of the run which completes at last takes precedence over others.

大致意思是说，在Jenkins调用Newman命令运行多个Collections时，构建结果只取决于最后运行的一个接口。

假设接口的运行顺序是A->B->C，如果A和B的测试都有问题，而C没有问题，那么整个Job依然是Successful。

3.建议

接口测试尽可能分开多个Job执行，提升测试结果的可靠性。如果有需要可以借助Jenkins的MultiJob进行多任务的串联