《一种基于无监督学习的纹理表面缺陷自动检测方法》-- 阅读笔记

参考论文：《An Unsupervised-Learning-Based Approach for Automated Defect Inspection on Textured Surfaces》

整体思路

·使用无缺陷样本进行模型训练，无监督学习
·多尺度卷积降噪自编码器 + 高斯金字塔重建 完成训练

CDAE（卷积降噪自编码器）：
	重建输入图像块，并生成残差图以进行预测
高斯金字塔：
	分析和综合不同分辨率下的检查结果

实际优势

· 可以适用于表面纹理均匀或不规则的材料
· 不需要手机缺陷样本，可以实时训练，适用于工业中千变万化的情况
· 有很强的可变性，扩展性
· 多种分辨率层次的高斯金字塔，具有较强的鲁棒性和准确性

MSCDAE(多尺度卷积降噪自编码器)

具体选择原理：

	CAE网络通常用于有效编码的无监督学习。目的是学习一组数据的表示形式并发现其共同部分
	
	·训练后：
		CAE模型中的过滤器将对相似的补丁敏感，并对它们显示出高响应。 对于包含缺陷区域的补丁，补丁域中的外观和分布通常大不相同。
	 因此，学习的模型可能对它们不那么敏感，并且将生成相对较低的响应。
	 （通过训练无缺陷图片，模型对无缺陷图片敏感，因此不敏感的就是缺陷图片）
	 通过测量响应和原始输入之间的残差，可以轻松地进行直接像素预测。

·编码器和解码器部分：

其中“◦”是卷积过程； W和W’是权重矩阵； b和b’分别是编码器和解码器的偏置矢量； σ和σ′是非线性映射过程， 特别是，池化和上采样过程通常以最大池化和最大反池化的形式进行[28]。 可以训练CAE模型以达到重建误差最小化（例如均方误差）

其中N是样本数，λ是一个平衡重构和正则项的相对贡献的常数，（|| x i-x’i || ²）^1/2是第i个图像块的重构残差。

高斯金字塔

不同的信息可能会以不同的比例显示图像。随着空间分辨率的变化，重复的水平和垂直条纹也以不同的形式出现。它表明用金字塔进行多尺度处理可以确保捕获足够的纹理特性，这些特性通常与数据有关。 通过多尺度纹理分析，基于各种分辨率的局部邻域像素对像素进行特征化的趋势会更加强大。 因此，像素方向的预测结果可以更准确。

训练过程

主要包括：图像预处理，补丁提取，模型训练和阈值确定程序。
1.图像预处理：
光照归一化： 为了降低误检率，首先要进行基于韦伯定律[31]的照度归一化处理。


· 高斯金字塔下采样：
生成多个尺度的图片

· 加入随机噪声：
如前所述，盐和胡椒噪声[34]用于MSCDAE模型中的数据损坏。 令〜I（n）表示级别n处的损坏图像，〜g(i，j)和g (i，j)表示损坏和原始干净图像中位置（i，j）处像素的灰度级。 损坏的数据由

2.Patch Extraction
收集patch以在每个金字塔层训练CDAE网络。 对于逐像素预测，与仅使用单个像素相比，基于局部邻域信息来表征像素可能更具有鲁棒性
假设色块大小为w×h，步幅间隔为s，则从尺寸为W×H的图像生成的色块集的尺寸可以表示为[N p，N c，w，h]，其中N p =[ [（W-w）/ s +1]] × [[（H-h）/ s +1]] 是指patch样本的数量，N c∈{1,3}是指图像通道的数量。 应当注意，只有无缺陷的图像用于模型训练，并且在每个金字塔层设置的patch不应相互混淆。

3. Model Training：
MSCDAE方法旨在通过最小化每个图像金字塔层中所有patch的总重建损失来建模无缺陷图像patch的分布。

·误差反向传播 + 批梯度下降算法
4. Threshold Determination
阈值是用来区分有缺陷或无缺陷的关键参数

分割阈值可以定义为T(i)=μ(i)+γ·σ(i)[20]，其中μ(i)，σ(i)是集合ξ(i )的均值和标准差。 可以根据分割灵敏度来调整参数γ。阈值是通过使用全部无缺陷的训练补丁确定的。标记为FN''的绿色’'区域表示假阴性 点（有缺陷但被判断为无缺陷的点）和标记为“ FP”的“蓝色”区域表示假阳性点（无缺陷但被判断为有缺陷的点）。 阈值确定是为了找到最佳阈值，从而在同时减少FN和FP指标之间达成权衡。

测试过程

测试过程的操作和训练过程有细微不同

1.图像预处理种不需要加入噪声
2.patch提取过程严格逐行或逐列进行，以方便生成残差图。
	提取在其附近的尺寸为w×h的局部感受野x，并在训练后的模型中向前流动。在每个图像金字塔层中，可以构造残差图以用于后续处理。
3.缺陷分割时，低于阈值的置为0，否则为1

综合结果：

实验过程：

在每种应用中，均使用四张512×512像素的无缺陷纹理图像，并且补丁大小为8×8。
（请注意，由于金字塔结构，补丁大小的变化不会显着影响检查性能[20] 从图6中可以看出，无论在均质纹理或非规则纹理上进行训练，所提出的MSCDAE方法都能够在极少的迭代中实现稳定性。 
另外需要注意的是，该模型的训练过程通常是离线进行的，因此对在线缺陷检查效率没有影响。

·噪声概率测试：

· 阈值分割参数设置：

背景都是学习的用于模型训练的纹理（使用四个512×512样本进行训练），而前景（圆形区域）被视为要检测的新颖性。
注意，背景和前景的区域相同，并且为这两个部分选择的纹理特别相似，从而增加了分割的难度。 通过从这些拼贴中分离前景来验证参数γ的效果。 
如图9的第二行所示，显示了第一金字塔层中的重建残差图。 在第三，第四和第五行中也出现了当γ= 1,2,3时的相应分割结果。
可以看出，当γ= 1时有许多错误检测的区域，并且随着γ的增加，无缺陷区域 被错误识别的缺陷区域将逐渐减少，这与正确识别的缺陷区域相同。

真阳性率（TPR）和假阳性率（FPR），前者指的是前景中正确分割的缺陷区域的比例，而后者指的是背景中错误分割的缺陷区域的比例
将误检率（FDR）作为指标来发现最佳阈值，即FDR = FNR + FPR =（1- TPR）+ FPR。 如表I所示，当γ＝ 2时，指示剂FDR具有最小平均值。

·高斯金字塔效果验证

	该模型的最终检查结果是每个金字塔层的结果的综合。 但是，这种融合机制是否有益于整体检测性能仍需要验证。 
	如图		11所示，显示了采用建议的MSCDAE方法对几个纹理样品（第1列）的检查结果。 
	还可以看到金字塔等级l（l = 1,2,3）上的重建残余热图（第2-4列）。可以看出，检查结果对金字塔分辨率非常敏感。

为了生成最终检查结果（第5列），将每个比例尺的残差图插值为与原始图像相同的大小。 
通过对最终结果和独立金字塔级别的结果进行对比分析，可以得出结论：所使用的融合机制能够增强鲁棒性并消除错误警报，
例如，在样本1的级别3中，模型未检测到缺陷，但是 最终结果是准确的； 在样品2的1级中，错误地检测到许多缺陷区域，但最终结果也令人满意。
因此，与单分辨率标度模型相比，所提出的MSCDAE模型在缺陷检查方面趋于更加鲁棒和准确。

实验结果对比、

将该模型的检查性能与几种高级无监督算法进行了比较，例如离散余弦变换（DCT）[43]，曲率分析（LCA）[44]和仅相位变换（PHOT）[45]方法。用这些方法检查的各种纹理样本的缺陷区域如图12所示。

其中TP和FP表示真正和假正像素的数量，GT表示给定图像的ground-truth像素的总数。 F1-Measure指标可全面评估召回率和准确性。