patchcore: Towards Total Recall in Industrial Anomaly Detection

patchcore论文地址

简介

略

算法

Locally aware patch features

样本用$x$表示
label定义：0是正常样本（nominal），1是异常样本（anomalous）。 y x ∈ { 0 , 1 } y_x \in \{ 0 , 1\} yx​∈{0,1}
训练阶段使用正常样本 ： $\forall x\in X_N:y_x=0$
测试阶段样本: ∀ x ∈ X T : y x ∈ { 0 , 1 } {\forall x \in X_T : y_x \in \{0 ,1\}} ∀x∈XT​:yx​∈{0,1}

patchcore使用在ImageNet上的预训练网络，用符号$\varphi$表示

符号${\varphi }_{ij}={\varphi }_j(x_i)$表示第$i$个样本$x_i\in X$在网络$\varphi$第$j$层feature map
本文使用ResNet50最终输出的spatial resolution blocks的第 j ∈ { 1 , 2 , 3 , 4 } j\in \{ 1,2,3,4\} j∈{1,2,3,4}层

采用网络最后几层输出会出现的问题：

1. Firstly, it loses more localized nominal information [14].As the types of anomalies encountered at test time are not known a priori, this becomes detrimental to the downstream anomaly detection performance.
2. very deep and abstract features in ImageNet pretrained networks are biased towards the task of natural image classification, which has only little overlap with the cold-start industrial anomaly detection task and the evaluated data at hand.

本文采用a memory bank $M$（在 patch level），避免过多的偏向imageNet

记第$i$张图片，第$j$层的特征图为 ${\varphi }_{ij}\in R_{c\times h\times w}$
特征图上的点用 ${\varphi }_{ij}(h,w)={\varphi }_j(x_i,h,w)$

each patch-representation operates on a large enough receptive
field size to account for meaningful anomalous context robust to local spatial variations.
本文采用感受野更大的patch（而不是特征图上的点）

This motivates a local neighbourhood aggregation when
composing each patch-level feature representation to increase receptive field size and robustness to small spatial deviations without losing spatial resolution or usability of feature maps.

记点$(h,w)$周围的点集为：

这个公式可以理解为 以$(h,w)$为中心，以$p$为直径的正方形包围住的点

那么围绕这些点计算的特征图上的点为

locally aware patch-feature collection 可以表示为：

其中 striding parameter： s
最后 PatchCore memory bank

可以理解为 所有训练集的图片上所有的点$(h,w)$
以这个点为中心计算它的邻居点集，得到的特征值
这些特征值的集合作为PatchCore memory bank

Coreset-reduced patch-feature memory bank

根据上面计算的PatchCore memory bank直接用是不现实的，因为太大了。所以需要计算一个$M_C$（小一点的）d代替$M$
什么样的子集能代替原来的集合呢？

首先取任意一个子集$M_C$

• 公式$\min ||m-n|{|}_2$ 的含义：计算集合$M$中每一个点$m$到子集$M_C$的距离
  （一般点到集合的距离，定义为该点到集合内所有点的最小距离）
• 公式 $\max$是指在$M$中找到距离$M_C$最大的点
• 最终求得距离集合$M$最近的集合$M_C^{\ast }$

具体的算法

Anomaly Detection with PatchCore

对于测试图片$x^{test}$，计算测试图片的patch-feature 得到$m^{test}$
和上面的过程一样，还是求集合$P(x^{test})$到集合$M$的距离，标记距离的两个点为
$m^{test,\ast }\in P(x^{test}),m^{\ast }\in M$

解释

• 公式 $\mathrm{argmin}||m^{test}-m||$计算的是 点$m^{test}$到集合$M$的距离
• 然后找到距离最远的点$m^{test,\ast }$

计算分数

$N(m)$是指$m^{\ast }$的最近邻点集，这里实际上是计算了 一个softmax