diff测试

一、常见噪点

1.时间差异

流量录制和回放时间戳不同，代码中使用该时间戳进行逻辑判断，例如：System.currentTimeMillis() native方法，如果响应的Response也有时间戳也会造成差异。

2.随机数差异

请求参数或者返回结果中使用了随机数字，这种大概率是会失败的。

3.自增数据差异

无论请求还是返回，自增数据也会造成比对失败。

4.链路ID标识

类似链路ID、SequenceID等标识，在系统中会透传，可能造成回放失败。

5.配置中心数据

线上配置中心的数据和回放的测试环境配置数据不一致，也导致了数据回放失败。

6.返回无序元素集合

在方法接口调用返回时无序的元素集合，也会造成结果对比误差。

二、智能降噪

1.降噪配置

通过提供全局、应用级别、接口级别对噪音字段进行配置，配置可以解决一部分问题，适合存在通用性字段且数量不多的情况。可以作为降噪的第一层配置。

2.智能降噪

是一种通过对流量diff的自动对比的降噪方式，下面以Twitter开源框架Diffy为例走查其运行原理，可供我们实践中定制二开或者自研参考 。

通过三个版本系统进行流量对比，将其噪声过滤：

候选版本：即待提测上线版本

稳定版本：可以部署线上Master分支

稳定版本副本：可以部署线上Master分支

工作原理：

通过向稳定版本和稳定版本副本回放流量，对比其流量差异得到【噪声 】

通过向候选版本和稳定版本回放流量，对比其流量差异得到【原始区别 】

再从【原始区别】剔除【噪声】得到最终的diff结果

Diffy的Github的地址：

GitHub - twitter-archive/diffy: Find potential bugs in your services with Diffy

三、文章小结

本文罗列了流量回放中常见的噪音以及解决噪音的常见措施。需要以智能去噪为主，加以一些定制化配置字段去噪综合治理来降低测试开发的排查成本。