【论文阅读--WSSS】Extracting Class Activation Maps from Non-Discriminative Features as well

论文链接：https://arxiv.org/abs/2303.10334
代码链接：https

方法

一种即插即用的方法

1. all training images → images features

   用backbone训一个多标签分类器

2. image features → clusters

   注意：这篇文章是为每个类别单独进行聚类

   先基于CAM用阈值处理得到 前景背景。

   $$f(x{)}^{i,j}\in \{\begin{array}{ll}\mathcal{F},& \text{if}{\mathrm{CAM}}_n^{i,j}(x)\ge \tau \\ \mathcal{B},& \text{otherwise}\end{array}$$

   然后分别对前景-背景分别进行K-means得到前景-背景的cluster center

   F = { F 1 , ⋯   , F K } \mathbf{F}=\{\mathbf{F}_1,\cdots,\mathbf{F}_K\} F={F1​,⋯,FK​} B = { B 1 , ⋯   , B K } ˚ \mathbf{B}=\mathring{\left\{\mathbf{B}_{1},\cdots,\mathbf{B}_{K}\right\}} B={B1​,⋯,BK​}˚​

3. clusters → local prototypes

   由于CAM可能会激活不完整或者几乎不准确，前面简单的阈值处理后聚类得到的簇中心质量可能不一定好。这里则通过与分类器权重计算预测分数，来挑选出高质量的簇中心。

   对于前景簇中心，要求选出具有高置信度的簇中心，这里对预测分数设置一个较高的阈值—比如0.9；挑选后的前景簇中心 F ′ = { F 1 ′ , ⋯   , F K 1 ′ ′ } \mathbf{F}'=\{\mathbf{F}'_1,\cdots,\mathbf{F}'_{K'_1}\} F′={F1′​,⋯,FK1′​′​}

   $$z_i=\frac{\exp \left({\mathbf{F}}_i\cdot {\mathbf{w}}_n\right)}{{\sum }_j\exp \left({\mathbf{F}}_i\cdot w_j\right)}.$$

   对于背景簇中心，也是用类似的方法。但这里的阈值并不是选出一个很低的阈值比如0.1。考虑到CAM对共现背景（context）会误认为属于前景，这里选择的阈值为0.5，得到挑选后的背景簇中心 B ′ = { B 1 ′ , ⋯   , B K 1 ′ ′ } \mathbf{B}'=\{\mathbf{B}'_1,\cdots,\mathbf{B}'_{K'_1}\} B′={B1′​,⋯,BK1′​′​}（后面通过前景map - 背景map来缓解共现背景误激活的问题）

   $$z_i=\frac{\exp \left({\mathbf{B}}_i\cdot {\mathbf{w}}_n\right)}{{\sum }_j\exp \left({\mathbf{B}}_i\cdot {\mathbf{w}}_j\right)}.$$

4. local prototype → generate LPCAM

   $$\begin{array}{rl}F{G}_n& =\frac{1}{K_1^{\prime }}\sum _{{\text{F}}_1^{\prime }\in {\mathbb{F}}^{\prime }}sin(f(x),{\mathbf{F}}_1^{\prime })\text{,}\\ B{G}_n& =\frac{1}{K_2^{\prime }}\sum _{{\text{B}}_2^{\prime }\in {\mathbf{B}}^{\prime }}sin(f(x),{\text{B}}_1^{\prime }),\end{array}$$

   f(x)就是最后一层输出，没有经过pooling

   这样就得到前景map和背景map，同时由于用余弦相似度计算，他们的值都被归一化到[-1, 1]之间。

   $$\begin{gathered} {\mathrm{LPCAM}}_n(x)=\frac{\mathrm{ReLU}\left({\mathbf{A}}_n\right)}{\max \left(\mathrm{ReLU}(A_n)\right)} \\ {\mathbf{A}}_n=F{\mathbf{G}}_n-B{\mathbf{G}}_n, \end{gathered}$$

   这样，便得到当前类别的CAM了

实验

CAM质量评估

最终分割质量评估

可视化

放出失败案例，赞

个人看法

即插即用，赞。不用追赶SOTA

类似的想法在看了一篇用visual words的论文之后也有过