伪装目标检测论文备忘录

论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Fan_Camouflaged_Object_Detection_CVPR_2020_paper.pdf

1.整体结构：

框架主要包括两个模块：搜索模块 (SearchModule, SM) 和识别模块 (Identification Module, IM)。前者负责搜索被伪装的物体，而后者则用于精确检测物体。

2. 搜索模块（Search Module，SM）

本文 在搜索阶段（通常是在较小的、局部空间中）使用 RF 模块来整合更具鉴别性的特征表示。具 体而言，对于输入图像 I∈R W×H×3，可利用 ResNet50模型提取出一组特征 {Xk} 4 k=0。为了保留更 多信息，本文将第二层特征层的步长参数设置为 1， 使其和输入图像具有相同的分辨率。因此，每一层 分辨率为 {[ H k , W k ], k = 4, 4, 8, 16, 32} 。 最新研究 显示，更浅的卷积层中的低级 特征保留了用于构建物体边缘的空间信息，而深层 的深层卷积层的特征保留了用于定位目标的语义信 息。由于神经网络本身的固有的特性，本文将提取 的特征进行分层：低层 {X0, X1}，中层 X2 和高层 {X3, X4}，并通过拼接、上采样和下采样等操作进行 组合。与 [79] 不同，本文的 SINet 采用稠密连接策 略 [27] 来保存来自不同特征层的更多信息，然后使 用改进的 RF [42] 组件来扩大感受野。例如，先使用 拼接操作来融合低级特征 {X0, X1}，然后将分辨率 下采样为原始一半。再将融合后的新特征 rf x1x2 4 进 一步输入到 RF 组件生成 rf s 4 特征。

RF模块的前世解读：

RF的灵感来源于

群智感受野（pRF）属性的规律。 （A）pRF大小可以看作人类视网膜图中偏心率的函数，其中两个趋势是明显的：（1）pRF大小随着每个图中的偏心率而增加，以及（2）图之间的pRF大小有差异。 （B）基于（A）中的参数的pRF的空间阵列:每个圆的半径是在适当的偏心率下的表观RF尺寸。

翻译一下就是：人视野的一个特点，离视线中心越远，人的感受野越大，越靠近视线中间，人感受野越小；人对不同物体的感受野大小不同

通过将多个分支与不同的卷积核和膨胀卷积组合来构建RFB模块。 多个卷积核类似于不同大小的pRF，而膨胀卷积为每个分支分配单独的偏心率以模拟pRF的大小和偏心率之间的比率。 通过将所有分支合并进行1*1卷积变换，产生RF的最终空间阵列，其机理类似于上边所示的人类视觉系统

3.识别模块 (（Identification Module, IM)

本文采 用密集连接方式对部分解码组件 (Partial Decoder Component，PDC) 进行了扩展。具体来讲，PDC 整合了来自 SM 的四个特征层。可通过以下公式来 计算粗糙的伪装图 Cs： Cs = P Ds(rf s 1 , rf s 2 , rf s 3 , rf s 4 ), (1) 其中 {rf s k = rfk, k = 1, 2, 3, 4}。现有文献已 表明，注意力机制可以有效地消除无关特征的干扰。 因此引入搜索注意力 (Search Attention，SA) 模块 来增强中间特征层 X2 并获得增强的伪装图 Ch： Ch = fmax(g(X2, σ, λ), Cs), (2) 其中 g(·) 是 SA 函数，即为典型的归一化后的高斯 滤波器，其标准差为：σ = 32，核尺寸为：λ = 4， fmax(·) 是一个最大化函数，用来突出伪装图 Cs 初 始的伪装区域。 为了全面获取高层特征，本文进一步使用 PDC 来聚合另外三层的特征，并通过 RF 进行增强，以 获得最终的伪装图 Ci： Ci = P Di(rfi 1 , rfi 2 , rfi 3 ), (3)

PDC到SA再到PDC模块的结构与下图思路相似：https://arxiv.org/pdf/1904.08739.pdf

参考博客：

https://blog.csdn.net/spellindover/article/details/107443980

 

 

(如有侵权，联系必删)