Metamorphic Testing About Image

本文将陈述蜕变测试中，将图像作为测试数据的蜕变测试。蜕变测试的核心的便是蜕变关系(Metamorphic Relations)。蜕变关系(MR)的构建是基于被测对象本身所拥有的性质。 如果蜕变前后测试结果满足蜕变关系，则未检测出被测对象的错误；如果不满足，则发现了被测对象的错误，也就是被测对象存在错误。下面将阐述与蜕变测试有关的几篇论文中的蜕变关系。
1.Deeptest: Automated testing of deep-neural-network-driven autonomous cars
该论文提出了几种蜕变关系：
MR 1-1：将图像进行仿射变化(移动、切割、旋转等)，自动驾驶系统的输出结果应该满足公式1；
MR 1-2：将图像中的晴天变成雨天、雾天后，自动驾驶系统的输出结果应该满足公式1。
公式1：trans代表蜕变后的图像，param控制蜕变幅度的大小(比如旋转多少度)，org代表蜕变前的图像。该公式代表图像蜕变后测试结果的均方误差和图像蜕变前测试结果的均方误差应该在一定的范围。

测试数据样例如下图所示

2.DeepRoad: GAN-based metamorphic testing and input validation framework for autonomous driving systems
该论文提出的蜕变关系如下：
MR 2-1：将图像中的晴天变成雨天后，自动驾驶系统的输出结果相比晴天不应该发生较大的变化。
MR 2-2：将图像中的晴天变成雪天后，自动驾驶系统的输出结果相比晴天不应该发生较大的变化。
测试数据样例如下图所示

3.Identifying implementation bugs in machine learning based image classifiers using metamorphic testing
该论文提出的蜕变关系如下：
MR 3-1：交换图像中RGB的顺序(如下图所示)，分类结果不应该发生变化。

MR 3-2：旋转图像和对图像进行转置，分类结果不应该发生变化

MR 3-3：归一化测试结果(归一化公式和归一化图像如下所示)，分类结果不应该发生变化


MR 3-4：按比例改变图像中的每个像素值，分类结果不应该发生变化

4.Deepbillboard: Systematic physical-world testing of autonomous driving systems
MR 4-1：将图像中的广告牌变成可打印的像素点的组合，自动驾驶系统的转向角不应该发生变化

5.Metamorphic Testing for Object Detection Systems
MR 5-1：在图像中插入非目标图像，插入前后仍能识别目标。插入方式为随机插入(在图像中任意位置插入)，以及引导插入(在目标物体周围插入)

6. DeepBackground: Metamorphic testing for Deep-Learning-driven image recognition systems accompanied by Background-Relevance
MR 6-1: 改变图像背景，图像识别系统的识别结果不应发生变化。
子蜕变关系包括：
1）改变背景的亮度，识别结果不应该发生变化；
2）给背景添加噪声，识别结果不应该发生变化；
3）模糊背景，识别结果不应该发生变化；
4）替换图像背景为同一类instance的背景，识别结果不应该发生变化。

本次记录先到这里，后面如果读到有论文中有相关内容，再进行扩充，欢迎大家一起讨论，感谢观看。