Camoufinder: Finding camouflaged instances in images阅读笔记

AAAI 2021
TN Le, V Nguyen, C Le, TC Nguyen, MT Tran
论文地址

一、简介

我们调查了伪装实例分割问题。我们首先对CAMO数据集进行了实例分割的标注，并且嵌入了数据增强来增加训练样本。其次，我们在CAMO实例分割数据集上训练不同的实例分割模型。最后，我们开发了一个用户交互界面，它展现了不同实例分割方法在CAMO实例分割数据集上的性能。

二、方法

2.1 数据采集

如Figure 2所示，使用CAMO数据集进行伪装实例分割数据集制作。该数据集分为伪装和非伪装类别，每个类别包含1000个训练样本和250个测试样本，总共2500个样本。

2.2 数据增强

我们通过裁剪和翻转等变换方法来增加训练样本数量。与非伪装的目标检测数据增强不同，因为要确定对象是否伪装不仅取决于自己的特征，还取决于周围的环境。

我们克隆对象实例并将其放在不同的图像区域上，它们在背景上具有较小色差。如Figure 3为增强的数据样本。

2.3 伪装实例分割方法

我们训练并验证了各种实例分割方法。这些方法分为一阶段和两阶段方法。两阶段方法遵循先检测在分割的思想，首先进行目标检测对每个实例对象产生边界框，然后，对每个边界框进行前景背景分割。一阶段受anchor-free目标检测启发，并且通常情况下，一阶段任务会比两阶段任务快。

这些实例分割方法有：Mask RCNN，Cascade RCNN，Mask Scoring RCNN，RetinaMask，YOLACT，YOLACT++，CenterMask，BlendMask，SOLO，SOLO2，CondInst。

2.4 交互式用户界面

我们开发了一个交互式用户界面，它展示了对伪装实例分割方法的性能。我们所提出的系统包括前端基于Web的界面和后端Web服务。

对于前端，我们构建了一个有好的基于Web的界面。我们使用Ant Design，Virtualized List和CSS Position来布置网站和控制用户交互。ReactJS和Redux用来在数据流中始终如一的管理状态。

对于后端，我们使用深度学习库（例如Pytorch）部署在Google Colab上的深度学习模型。Python Flask和Ngrok在Google Drive中对数据存储平台支持。我们开发API以运行我们的WebService并从前端接口调用它们。

如Figure 4所示，用户能够在给定输入图像上检查不同方法的结果，用户还能够改变实例分割多滤器的score预测阈值。