MirrorNet: Bio-Inspired Camouflaged Object Segmentation阅读笔记

IEEE Access 2021
Jinnan Yan, Trung-Nghia Le, Khanh-Duy Nguyen, Minh-Triet Tran, Thanh-Toan Do, Tam V. Nguyen.
https://arxiv.org/abs/2007.12881

一、简介

当对象融入周围环境时，它成为了一个成功的伪装对象，以创建一个可以隐藏对象的熟悉的自然场景。通过改变同一场景，有可能可以逃离这种错觉。我们意识到只需简单的翻转操作就可以生成相同场景的新视图。实际上，翻转的图像意外地破坏了自然布局，这导致了背景和伪装物体之间的差别很大。

我们提出了Camouflaged Object Proposal对图像中的潜在对象进行框选，并且同时输入了原始图像和水平翻转后的图像。

二、动机

背景和非伪装对象之间的视觉差异大于背景和伪装对象之间的视觉差异，但是，翻转的图像会导致背景和伪装物体之间较大的距离。

因此做了一个视觉差异的实验，如Table 1。由图可知，颜色对于非伪装物体和伪装物体之间在视觉上的差异非常的小。纹理特征能够产生更大的差异，这说明了纹理在伪装目标检测的有用性。从FCN提取的特征有更大的视觉差异，因为其保留了空间层次结构，第一个卷积提取纹理和边的基本元素信息，后面的卷积学习前一层学到的进行组合。

另外，在颜色方面，凸轮和凸轮翻转的差值和凸轮翻转的差值是相同的。它表明翻转的流在颜色方面无用。但是，当我们查看特征空间的差异时，凸轮和非凸轮值不同（非凸轮值稍微更好）。它表明，特征空间中的凸轮翻转可能有助于任务。

如表I所示，伪装翻转的图像通常产生更大的距离。似乎水平翻转的图像可能包含用于分割任务的有用信息。请注意，伪装对象的图像拍摄自然设置。因此，翻转的图像意外地破坏了自然布局，这导致背景和伪装物体之间的较大距离。

三、方法

MirrorNet网络由两个输入流组成，一个是原始图像的主流，另一个是原始图像水平翻转的镜像流。主流旨在捕获对象的内在信息，镜像流旨在捕获目标的外在信息。

3.1 Camouflaged Object Proposal

MirrorNet通过Camouflaged object proposal定位包含伪装对象可能的位置。该模块的目标是在图像中找到对象的位置，即对象类和对象mask。对象类由矩形框框选，对象mask是矩形框内的每个像素编码。

在理想情况下，我们希望检测到图像中所有相关对象，并对这些对象中的每个像素映射到最可能的伪装/非伪装标签。

Camouflaged object proposal模块采用RPN，他将输出ROI（感兴趣的区域）。对于每个ROI，使用RoiPool从feature map输出固定尺寸的特征映射，但是引起了错位问题。我们提出了PrRoI，使用平均池化层代替最大池化层。

3.2 Camouflaged Object Segmentation

使用联合训练的方式，其损失为：

cls和loc是检测分支的损失，mask是分割的损失。

cls采用多项式交叉熵损失，如公式（2）：

p表示预测的类别。

loc是边界框回归损失，使用Smooth L1 loss，其损失公式如下：

分割损失是多项式交叉熵损失，其公式如下：

m是softmax的预测结果。

Mask Fusion：

首先将镜像流中检测到的边界框及其对应的特征图（mask）水平翻转，然后设置阈值为0.5丢弃低预测分数的边界框，最后测量低分数的边界框与高分书的边界框的重叠程度，超过50%将其丢弃。这样就得到了最终的输出。

3.3 数据增强

通过对伪装对象水平翻转，从而得到更多的图像。

四、实验