软件合成疵点的有效性分析

1、模型过检的原因猜测

基于深度学习的目标检测模型相对于传统的视觉检测方法，具有自动提取特征的优势。但也因为不依赖手工提取特征这一特点，导致其利用了目标的哪些特征，以及分量特征的权重占比，我们是没法明确量化的(深度学习的不可解释性)。所以，在这里，我们只是基于深度学习理论基础及训练经验，来推测瑕疵检测模型容易对噪声形态产生过检的内在原因。

检测模型训练时(不过拟合为前提)，会基于反向传播学习疵点多维特征中的较为明显特征，或者是学习多维特征中多种特征，但权重有差异。比如通过学习各布种的双经和经向污渍纱，模型能够自动提取到双经和污渍纱差异性特征：双经颜色偏亮(权重比较大)，长度一般比较长(权重比较小)；而经向污渍纱颜色偏黑，长度有大有小。如果训练时只有这两种类别，且背景里没有其他相似的噪声形态，那么模型基本上只需要通过颜色特征就能区分开这两种类别，梯度下降时，只需要更新颜色特征相关权重即可实现模型收敛，而不需要学习疵点形态的其他特征，比如纹理对齐、宽度属性或者更细节的纹理结构特征。此时，模型的识别域是非常大的。比如，当布面上出现一种偏暗的经向方向的线头时，模型会以较大概率识别为污渍纱。而当布面上出现一种反光后颜色偏亮的细长线头是，模型会以较大概率将这种线头预测为双经。

这时，我们收集上述两种线头数据，并以背景类或者新增第三类--线头时，模型会学习颜色之外的特征来区分线头，比如弯曲走势的大概率为线头，实现对线头的过检抑制（如下图1.1A）。

 

然而，当布面上出现一种拉直的、在拍照反光后成高亮的线头时，模型将很大概率把线头误识别为双经。这时我们可以用同样的思路加入这类拉直高亮线头数据去引导模型学习区分这三种疵点形态的其他特征，比如纹理对齐特征，后续布面上出现拉直高亮形态，且纹理不对齐时，大概率识别为线头，比如右图的demo，模型将手工画的一个纹理极其不对齐的高亮直线识别为线头，将纹理比较对齐的高亮直线识别为经向缺陷(暗示了纹理对齐特征权重还不够，仍有一定概率过检拉直高亮形态)，如下图1.1B所示。

 

2、抑制噪声过检的软件合成方案

基于上述思路，我们是否可以使用软件造疵点或者噪声形态的方法，去调整模型在各类特征的的权重占比，希望权重能往纹理对齐的方向拉。这时，要实现这个目标，我们至少需要做以下两步会比较容易成功：

1）合成一些纹理对齐的高亮直线，并标注为双经。

2）合成一些纹理不对齐的高亮直线，并标注为线头或背景。

如果只做其中一步，那么模型可能会抓住合成痕迹这一特征(我们在这里抽象为合成特征)，而继续忽略纹理对齐特征的学习。当自然场景下发生纹理不是完全对齐的高亮直线时，仍有较大概率识别为经向缺陷。

当我们同时合成上述两种形态时，模型会更容易提取到它们之间的差异特征--纹理对齐特征。这时，出现自然发生的高亮拉直线头时，模型不再过检为经向缺陷，如下图2.1所示。

3、合成方案的优化准则

当我们合成的疵点形态越逼近真实缺陷形态，同时能够举一反三，合成各种可能发生的噪声形态(业务上需要拒识的形态)，模型对噪声的鲁棒性将会更好，对疵点的检测准确率自然也会更高。

但同时也要做两点：

1）所合成的疵点形态更接近真实的疵点形态，而不是业务场景中容易发生的噪声形态，否则新布种适配时，反而容易出现过检。比如，合成双经时，需要整图合成，而不是单图中的非整图高亮，或者布边位置的高亮，不然会引起背景高亮过检或者布边过检。

2）反之，所合成的噪声形态更接近业务场景中的容易发生的噪声形态，而不是可能发生的疵点形态，否则容易导致真实疵点的漏检。

最合理的方案是，配对合成疵点形态和噪声形态。比如，我们在合成双经形态的同时，可以同时合成非整图高亮形态和布边高亮，并放到背景中进行抑制。

4、合成示例

基于上述准则，我们合成了786张双经疵点形态图，1306张纹理不对齐直线噪声形态图，以及580张非整图高亮噪声形态图，总计2672个合成样本。

5、合成形态是否有效的测试方法

1）对于新布种中未收集到的噪声形态的预测试方法：提前推测模型可能会出现的过检形态，基于业务场景特点，归纳演绎出一些候选形态，并试着用软件合成的方法去模拟，然后直接拿现有模型进行测试，如果发生过检，则业务场景中出现类似形态大概率会过检。

2）如已收集到该类噪声形态，则可以通过消融实验训练得到的模型，直接测这类噪声数据。

6、使用实际数据的有效性验证

6.1、过检抑制的有效性验证

我们在v1.4.7模型的基础上，加入上述的2672个合成样本，训练得到v1.4.7-fake_data模型，并测试过去两个月捞回的高亮过检图片，无过检bad case出现。

6.2、疵点召回的有效性分析

合成疵点对召回率的提升受限于合成形态与实际疵点形态是否相近，以及对某一类型的疵点形态覆盖情况。比如，双经的细分形态至少有3种，如果我们只合成一种整图高亮形态，那么对其召回能力的提升也是优先的。实际测试中，我们基于5月28号到8月24号收集的GY1020数据，训练了以下两种模型：

1）消除了GY1020的双经数据训练得到的模型

2）消除了GY1020的双经数据，并加入上述2672个合成样本数据训练得到的模型

实验结果是，双经的召回率由5%提升至20%左右，有一定提升，但不是很显著，因此，需要后续合成更多的形态进一步去验证。

7、面临的挑战

1）一些密度高的布种纹理走向并不好定位，特别是纬向纹理走向；

2）一些跟纹理细节相关的疵点形态并不好造，可能需要探索一种基于掩码的条件GAN去实现。