MemSeg【异常检测：Reconstruction-based】

背景

基于重建的方法利用的本质是网络无法重建异常，但随着重建网络性能提升，异常也能较好重建，这就违背了设计初衷。通过对比，基于嵌入的的方法能够实现更好的效果，但该类方法在训练时较快，在推理阶段需要复杂的特征匹配，实时性并不好。

本网络也是基于嵌入的方法（也基于AE），但实时性有了提升，记忆信息的引入使网络对空间位置信息有了把握。

模型原理

基于嵌入的方法需要正常分布和异常分布的训练才能更好区别二者，异常检测的应用场景显然不合适（只训练正常图），本网络提出一种模拟异常图的策略以达到正常异常都能训练的效果，人为创造类内共性，类内差异，类似于自监督学习。

（1）Anomaly Simulation Strategy（正常图制作异常图）

说白了，没有异常图像给训练就利用正常图创造异常图像。使用异常图像做对比让模型更好的认识正常图像，这与全监督是有区别的，这种方式需要的异常图少一点，是为自监督学习。这种创造异常的方式分为三步。

1）二维柏林噪声P二值化后生成Mp，正常图I二值化后生成MI，二者结合生成M，这种处理是为了让生成的异常图与真实异常图相似。

2）利用公式做正常图和M的融合使接近真实异常图。

3）将M反转（黑变白，白变黑），与I做元素积，与I'做元素和，生成。

前景图像增强完成，此外论文还做了纹理的和结构的。

 （2）Memory Module and Spatial Attention Maps（提取的预备的N个信息与空间注意力块）

1）Memory Module

过程对比下图理解。

选N个正常图经ResNet作为存储的信息，冻结ResNet的block1/2/3的参数保证高维特征与记忆信息统一，其余部分仍可训练。训练及推理阶段，通过原文公式（3）（下式），比较距离。

N个存储信息中，每个包括块1/2/3生成的三张特征图，将输入的三张特征图与N中所有的三个特征图比较找出距离最小的N中的三张特征图。将输入的三张特征图与和其距离最小的三张特征图连接形成CI。后经多尺度特征融合块，经U-Net跳跃连接（这里可以将一些模拟的可分性不强的异常特征去除，保证模拟的真实性。）进入解码器。

2） Spatial Attention Maps

涉及到空间注意力块，由下公式为三个特征图增加权重，降低特征冗余。

（3）Multi-Scale Feature Fusion Module （多尺度特征融合块）

CA为协调注意力块，负责两个拼接的CI，处理后特征图通道数减半。然后，下层的特征图上采样后再经卷积，进行元素级别相加完成特征融合投入空间注意力块。

 （4）Training Constraints（训练损失）

L1损失和focal损失。L1比L2保留更多边缘信息。focal缓解样本不平衡问题，使模型专注于分割本身而不是样本的情况。

总结：变相的全监督（端到端学习），结合挑出的预备信息做特征融合，利用注意力机制降低特征冗余，再利用U-Net跳跃连接做二轮的特征融合。这一系列的操作将不同尺度信息充分融合又不冗余，实现检测及定位。

实验

评价指标：图片级和像素级的ROCAUC。

对比实验：

（1）MVTec和BTAD上与其他模型做对比，发现螺钉数据集由于螺钉方向的乱序，导致以对齐为主要思想的该模型（因为难以形成有区分的特征）结果弱一点，另一点也是因为它的异常区域较小。另一个晶体管数据集是由于缺失和方向偏移的问题结果也弱一点。

（2）利用MVTec生成另一数据集，做泛化实验对比。

消融实验：

（1）去掉不同的图像增强策略，AUC均有不同程度下降。

（2）分别使用两种不同的损失和同时使用时，AUC结果不同。

（3）记忆模块、多尺度模块、空间注意力机制的使用对模型的影响。

补充

论文提到的CutPaset（重建，图像增强）、DREAM（重建，图像增强）、AnoSeg（重建，图像增强）、PaDim（嵌入）、SPADE（嵌入、记忆信息）等思想相近的网络可再做深入。