【工业异常检测】MemSeg论文笔记

数据增强方法

由于工业领域负样本稀缺，工业异常检测领域常常通过图像处理的方法制作仿真异常样本扩充负样本实现数据增强。本文将二维柏林噪声图像进行二值化得到诸多形状各异的小Region并进行筛选剔除掉待检物体外区域的Region，利用这些Region将一些复杂纹理图案扣出叠加在正样本上制作仿真异常样本。

网络模型结构

MemSeg基于U-Net架构，采用预训练的RestNet18作为编码器。
记忆模块
为了获得记忆信息，作者首先从训练数据中随机选取正常图像作为记忆样本，并将其输入到编码器中，分别从ResNet18的块1、块2和块3中得到维度为N × 64 × 64 × 64、N × 128 × 32 × 32和N × 256 × 16 × 16的特征。这些具有不同分辨率的特征共同构成了内存信息。为了保证输入图像的记忆信息和高层特征的统一，作者在ResNet18中冻结了块1、块2和块3的模型参数，其余的模型仍然是可训练的。
给定训练或推理阶段的输入图像，如图2所示，编码器还提取输入图像的高级特征，以获得维度为64 × 64 × 64、128 × 32 × 32和256 × 16 × 16的特征。这些具有不同分辨率的特征共同构成了输入图像的信息。然后，计算所有记忆信息与输入图像之间的L2距离，得到输入图像与记忆样本之间的差异信息。最佳差异信息包含了输入样本与其最相似记忆样本之间的差异，一个位置的差异值越大，该位置对应的输入图像的区域出现异常的概率越高。
随后，最佳差异信息与通道维度中输入图像的高级特征完成串联操作，以获得串联信息，并且。最后，将拼接后的信息通过多尺度特征融合模块进行特征融合，融合后的特征通过U - Net的跳跃连接流向解码器。