【论文研读】【流模型】【缺陷检测】 Fully Convolutional Cross-Scale-Flows for Image-based Defect Detection

Fully Convolutional Cross-Scale-Flows for Image-based Defect Detection

1. 摘要

• 领域： 缺陷检测
• 模型：flow
• 成就：缺陷检测排行榜第二名
• 数据集：
  • Magnetic Tile Defects
  • MVTec AD

2.创新点

（1）提出 fully convolutional cross-scale normalizing flow (CS-Flow)模型，是基于real-NVP的流模型
（2）CS-Flow能同时处理不同尺度的特征图，处理时将多种尺度的特征图并行传入流模型，并且让它们之间相互作用。

3.网络结构

（1）CNN特征提取层 – EfficientNet-B5 X -> Y ，特征提取层，在ImageNet上预训练，不参与整个网络的训练过程。

• 输入尺寸分为三组：768*768 384*384 192*192
• 得到三组特征图尺寸：24*24*304 12*12*304 6*6*304
  （2）流模型： Y -> Z (Z 为标准正态分布)
  
• 特征提取，得到三组特征图
• 按通道数（奇偶？）划分特征图为两部分 y_I、y_II
• 将三组 y_I、y_II输入到cross-scale convolutions模块进行仿射变换 （创新点）
• 沿通道数拼接

（3）细节：

• coupling block使用 real-NVP的结构
• $\begin{array}{c}{\mathbf{y}}_{\text{out },2}={\mathbf{y}}_{\text{in },2}\odot e^{{\gamma }_1{s}_1\left({\mathbf{y}}_{\text{in },1}\right)}+{\gamma }_1{t}_1\left({\mathbf{y}}_{\text{in },1}\right)\\ {\mathbf{y}}_{\text{out },1}={\mathbf{y}}_{\text{in },1}\odot e^{{\gamma }_1{s}_2\left({\mathbf{y}}_{\text{out },2}\right)}+{\gamma }_2{t}_2\left({\mathbf{y}}_{\text{out },2}\right)\end{array}$
• we introduce the learnable block-individual scalar coefficients γ1 and γ2
• soft-clamping
  • ${\sigma }_{\alpha }(h)=\frac{2\alpha }{\pi }\arctan \frac{h}{\alpha }$
  • 将输出限制在 (−α, α) 之间

（4）损失函数：

• change of variable公式：
  • $p_Y(\mathbf{y})=p_Z(\mathbf{z})\left|\det \frac{\partial \mathbf{z}}{\partial \mathbf{y}}\right|$
• $\log p_Y(\mathbf{y})=\log p_Z(\mathbf{z})+\log \left|\det \frac{\partial \mathbf{z}}{\partial \mathbf{y}}\right|$
• $\mathcal{L}(\mathbf{y})=-\log p_Y(\mathbf{y})=\frac{\Vert \mathbf{z}{\Vert }_2^2}{2}-\log \left|\det \frac{\partial \mathbf{z}}{\partial \mathbf{y}}\right|$

4.实验

（1）参数设置

• 特征提取层：the output of layer 36 of EfficientNet-B5
• MVTec AD, we use features at s = 3 scales with input image sizes of 768 × 768, 384 × 384 and 192 × 192 pixels，通道数：304
• MTD samples, we resized the images to 384 × 384, 192 × 192 and 96 × 96 pixels
• nblocks = 4 coupling blocks
  • 3*3卷积（3层）+5*5卷积（1层）