参考论文:《CutPaste: Self-Supervised Learning for Anomaly Detection and Localization》
Abstract:
提出了一个两阶段的框架来构建异常检测器只使用正常的训练数据。剪切粘贴是一种简单的数据扩增策略,它剪切图像补丁并粘贴到大图像的随机位置。
Introduction:
我们遵循两阶段框架,其中我们首先通过解决代理任务来学习自监督表示,然后在学习的表示上构建生成式单类分类器来区分具有异常模式的数据和正常模式的数据。
图中(a)通过CutPaste(橙色虚线框)训练深度网络(CNN)以区分图像与正常(蓝色)和增强(绿色)数据分布,CutPaste(橙色虚线框)从正常数据剪切小矩形区域(黄色虚线框)并将其粘贴在随机位置。从整个图像或局部面片训练表示。(B,顶部)图像级表示为异常检测做出整体决策,并用于通过GradCAM定位缺陷[51]。(B,底部)面片级表示从局部面片提取密集特征以产生异常得分图,然后最大池化异常得分图用于检测或上采样异常得分图用于定位。
我们采用两阶段框架来构建异常检测器,其中在第一阶段,我们从正常数据学习深度表示,然后使用学习的表示来构建单类分类器。随后,在第2.1节中,我们提出了一种通过预测剪切粘贴扩展来学习自监督表示的新方法,并在第2.4节中扩展到从局部面片学习和提取表示。
1.从正常的训练图像中剪切一个大小和纵横比可变的小矩形区域。
2.可选地,我们旋转或抖动面片中的像素值。
3.将面片粘贴回图像的随机位置。
剪切粘贴的变体主要有
1,剪切-疤痕 :使用填充有图像块的疤痕状(细长)矩形框的剪切粘贴-疤痕
2,多类分类:我们通过将CutPaste变体视为两个单独的类来制定正常、CutPaste和CutPaste-Scar之间的更细粒度的3向分类任务。
3,CutPaste与真实的缺陷之间的相似性:剪切粘贴创建的示例保留了正常示例的更多局部结构
研究表明:(1)剪切粘贴仍然不是真实的缺陷的完美模拟
(2)对其进行学习以发现不规则性,从而很好地概括了看不见的异常。
生成分类器:
用的是简单的高斯密度估计器(GDE)
异常检测器:
我们在训练时需要做的就是在应用剪切粘贴增强之前裁剪面片,训练目标可以被写为
我们以给定的步长从所有面片中提取嵌入。对于每个补丁,我们评估其异常评分,并使用高斯平滑将评分传播到每个像素[32]。在第4.2节中,我们使用贴片级检测器对热图进行可视化,以进行缺陷定位,沿着使用GradCAM [51]等视觉解释技术对图像级检测器进行可视化。