背景
基于重建的方法利用的本质是网络无法重建异常,但随着重建网络性能提升,异常也能较好重建,这就违背了设计初衷。通过对比,基于嵌入的的方法能够实现更好的效果,但该类方法在训练时较快,在推理阶段需要复杂的特征匹配,实时性并不好。
本网络也是基于嵌入的方法(也基于AE),但实时性有了提升,记忆信息的引入使网络对空间位置信息有了把握。
模型原理
基于嵌入的方法需要正常分布和异常分布的训练才能更好区别二者,异常检测的应用场景显然不合适(只训练正常图),本网络提出一种模拟异常图的策略以达到正常异常都能训练的效果,人为创造类内共性,类内差异,类似于自监督学习。
(1)Anomaly Simulation Strategy(正常图制作异常图)
说白了,没有异常图像给训练就利用正常图创造异常图像。使用异常图像做对比让模型更好的认识正常图像,这与全监督是有区别的,这种方式需要的异常图少一点,是为自监督学习。这种创造异常的方式分为三步。
1)二维柏林噪声P二值化后生成Mp,正常图I二值化后生成MI,二者结合生成M,这种处理是为了让生成的异常图与真实异常图相似。
2)利用公式做正常图和M的融合使接近真实异常图。
3)将M反转(黑变白,白变黑),与I做元素积,与I'做元素和,生成。
前景图像增强完成,此外论文还做了纹理的和结构的。
(2)Memory Module and Spatial Attention Maps(提取的预备的N个信息与空间注意力块)
1)Memory Module
过程对比下图理解。
选N个正常图经ResNet作为存储的信息,冻结ResNet的block1/2/3的参数保证高维特征与记忆信息统一,其余部分仍可训练。训练及推理阶段,通过原文公式(3)(下式),比较距离。
N个存储信息中,每个包括块1/2/3生成的三张特征图,将输入的三张特征图与N中所有的三个特征图比较找出距离最小的N中的三张特征图。将输入的三张特征图与和其距离最小的三张特征图连接形成CI。后经多尺度特征融合块,经U-Net跳跃连接(这里可以将一些模拟的可分性不强的异常特征去除,保证模拟的真实性。)进入解码器。
2) Spatial Attention Maps
涉及到空间注意力块,由下公式为三个特征图增加权重,降低特征冗余。
(3)Multi-Scale Feature Fusion Module (多尺度特征融合块)
CA为协调注意力块,负责两个拼接的CI,处理后特征图通道数减半。然后,下层的特征图上采样后再经卷积,进行元素级别相加完成特征融合投入空间注意力块。
(4)Training Constraints(训练损失)
L1损失和focal损失。L1比L2保留更多边缘信息。focal缓解样本不平衡问题,使模型专注于分割本身而不是样本的情况。
总结:变相的全监督(端到端学习),结合挑出的预备信息做特征融合,利用注意力机制降低特征冗余,再利用U-Net跳跃连接做二轮的特征融合。这一系列的操作将不同尺度信息充分融合又不冗余,实现检测及定位。
实验
评价指标:图片级和像素级的ROCAUC。
对比实验:
(1)MVTec和BTAD上与其他模型做对比,发现螺钉数据集由于螺钉方向的乱序,导致以对齐为主要思想的该模型(因为难以形成有区分的特征)结果弱一点,另一点也是因为它的异常区域较小。另一个晶体管数据集是由于缺失和方向偏移的问题结果也弱一点。
(2)利用MVTec生成另一数据集,做泛化实验对比。
消融实验:
(1)去掉不同的图像增强策略,AUC均有不同程度下降。
(2)分别使用两种不同的损失和同时使用时,AUC结果不同。
(3)记忆模块、多尺度模块、空间注意力机制的使用对模型的影响。
补充
论文提到的CutPaset(重建,图像增强)、DREAM(重建,图像增强)、AnoSeg(重建,图像增强)、PaDim(嵌入)、SPADE(嵌入、记忆信息)等思想相近的网络可再做深入。