【测试入门序列】如何利用Jenkins持续回归

为了在整个软件生命周期中保证代码质量，需要持续地对软件进行回归测试。

这种持续的测试有几个特点：

1. 无人值守，自动回归
2. 多轮回归，持续时间长短不一
3. 回归失败，自动生成报告

为了做到上面几点，测试程序需要做到：

1. 能在一定的时间内执行完成。不能无限执行，这样对测试不友好。
2. 失败时有明确的错误标记，错误能被外界识别，以便生成错误报告。

Jenkins 如下几个功能服务于上面目的：

1. 【参数化构建过程】 通过命令行参数为测试程序指定测试次数，以便有限时间内完成
2. 【构建触发器，Build periodically】 定时启动任务进行回归
3. 【构建后操作，Publish HTML reports】 把脚本生成的日志做成HTML页面发布，直接在Jenkins中展现
4. 错误码：Jenkins收到的脚本返回码不为0的时候认为回归失败。所以，控制脚本返回值来告知测试者成功/失败。

---

其他

• MacOS支持运行Docker
• Docker里可以直接安装Jenkins，非常简便

---

后记

• 现在看，以上都很自然。但早期却做了很多“匪夷所思”自己给自己制造困难的事情：测试无限循环，直到出现错误才退出；不区分返回码，每一轮回归都依赖人肉看结果；半夜服务器定期自杀导致测试出错，并且无法继续测试，后半夜一直回归失败，错失回归机会。