ICNet: Intra-saliency Correlation Network for Co-Saliency Detection

摘要

在该论文中，提出一个显著性内部相关网络(ICNet)，以从任何现成的SOD方法预测的单个图像显著性图(SISM)中提取显著性内部之间的信息，和通过相似获得图像之间的信息。

主体思想

整体框架

详细模块

SISMs

single image saliency maps 是通过任意一个训练好的SOD框架预测得来的对应协同显著图的显著目标检测图，可以抑制一些协同显著图的背景的影响。

NMAP

SISM和高级语义特征图通过逐元素相乘（对应元素相乘），可获得抑制背景后的高级语义特征图，再通过全局平均池化和归一化处理获得 single-image vectors(SIVs)，SIVs可以表示出显著图内部的类别，通过观察b图第二行可视化，可以证明SIVs与各显著图特征内积可以得出类别信息，所以后面的图片间的相似性可以通过当前图片与各个图片生成的SIVs求相似再融合获得最终的共显著图。

CFM

计算相似，之前的方法都是通过图片间的矩阵相乘获取。该方法是先获得每个图像的SIVs，然后就算每个图片与这些SIVs之间的correlation。图片以4张图片为例，计算4个SIVs与单张图高级语义特征图进行元素级内积，获得相似图4张。每张相似图突出显示与SIVs对应图像内部类别的区域。由于各个图的SIVs受到SISMs的影响，可能不包括共同类或不代表共同类，相似图凸显的区域也与共同类无关。为了减弱这些影响，在融合这些相似图之前，为每一个相似图加一个权重，该权重代表与其他相似图的相似度，具体操作如下图。通俗的讲，该相似图与其他相似图越相似获取的权值越大，相反权值越小，从而减少干扰。最后对4个相似图结合对应权值进行SUM，得到最终的共显著图co-salient attention(CSA)。

RSCF

由上述获得CSAmaps，可以直接拿它与单张图的高层语义特征图相乘获得集中在共同显著区域的语义特征图，最终获得预测图。然而，这种融合方式失败的去区分一些相似但不同类的像素，导致次最优的预测结果。这主要由于相似图是类无关，仅反射共显著的分值，而高级语义特征图F是类有关，每一个像素级向量代表一个特定的类。预测的时候主要依赖相似图，忽视了F的类别信息。为了解决这个不一致性，提出利用F的类别信息，通过计算F元素间的相似性。（个人认为，未进行操作前，相似像素之间差别较小，通过SCF操作，可以放大相似像素间的差距。）

SCF

这里面进行的是相似操作。F与F的转置相乘获得相似图SCF。SCF共有HW个通道，每一个通道代表每个像素与其他所有像素的相似，这样像素的信息只代表相似值，与类别无关。

RFSCF

对SCF重新排列，获得RFSCF，防止过拟合。由于SCF的HW个通道是按照像素位置排列的，这样多次训练，会导致结果严格依赖位置信息，这样会导致过拟合。为了解决该问题，要多SCF重排列，排列的顺序参考CSAmaps的像素索引。我们可以获得CSAmaps中像素值从大到小对应的索引值，然后SCF根据这些索引值调整通道的位置，最后获得RFSCF。

总结

对论文目前的理解就是上面的内容，但在很多细节方面仍未理解清楚，有待进一步学习知识去理解，日后若有所悟，再进行更新。仅供参考，希望大佬们可以给出指正和深层次的见解。