Multiple Instance Detection Network with Online Instance Classifier Refinement

近年来，弱监督目标检测在目标识别中占有重要地位。基于深度学习的弱监督检测器已经取得了许多有前景的结果。然而，与完全监督检测相比，以弱监督方式训练基于深层网络的检测器更具挑战性。这里，我们将弱监督检测表述为多实例学习问题，其中实例分类器(对象检测器)作为隐藏节点被放入网络。我们提出了一种新的在线实例分类器精炼（OICR）算法，将MIL和实例分类器精炼过程集成到一个单一的深度网络中，并且在只有图像级监督(即没有物体位置信息)的情况下端到端地训练网络。

更准确地说，从弱监督中推断出的实例标签被传播到它们的空间重叠实例中，从而在线细化实例分类器。（More precisely, instance labels inferred from weak supervision are propagated to their spatially overlapped instances to refine instance classifier online.）迭代实例分类器求精过程是使用深度网络中的多个流来实现的，每个流监督其后一个流。弱监督目标检测实验在具有挑战性的PASCAL VOC 2007和2012基准上进行，我们在VOC 2007中获得了47%的mAP，明显优于以前的先进水平。

1 Introduction
基于WSOD的端到端深度网络的核心问题是定位不准确，常常将最具有辨别度的物体的一部分认为是整个目标对象。为了解决这个问题，我们在本文中提出了两个改进:

我们建议在网络中添加一些块，通过显式地分配二进制实例标签来学习更具区分性的实例分类器，而不是通过加权求和池化（weighted sum pooling）来估计实例权重；
提出利用空间关系在线精炼实例分类器。
WSDDN中提出的spatial regulariser 通过迫使最高得分区域及其相邻区域的特征相同，取得了一定效果。然而强迫空间上重叠的proposal具有相同的特征似乎过于严格过于严格。我们认为在空间上重叠的proposal的特征在同一流形（manifold）中。然后这些重叠的建议可以共享相似的标签信息。为了实现这一思想，我们在WSDDN的网络中设计了一些实例分类器。实例的标签可以通过它们在空间上重叠的实例来精炼。我们将这种新的网络结构命名为具有实例分类器（instance classifier）的多实例检测网络(MIDN)。

实际上，有两个重要问题：

由于没有实例级标签监督，如何初始化实例标签？
如何高效地用实例分类器训练网络？
对于分类器精炼想到的一种自然方式是交替策略，即交替地重新标记实例和训练实例分类器，而这一过程非常耗时，特别是考虑到训练具有大量随机梯度下降(SGD)迭代的深层网络。 为了克服这些困难，我们提出了一种新的在线实例分类器精化(OICR)算法来在线训练网络。

图2：MIDN和OICR结合的结构。建议/实例特征由图像卷积特征层上的SPP层和两个全连接层生成。这些建议特征向量被分支为不同阶段的多个流：第一个用于基本的MIDN，其他用于实例分类器精炼。对分类器改进的监督是由它们前面阶段的输出决定的。所有这些阶段共享相同的proposal representations。

图1：分类器不同阶段精炼的结果，每行代表一个阶段。绿色/红色矩形表示检测到的box与gt有高/低重叠的方框，矩形右上角的数字表示IoU。如图：通过多级精炼，探测器可以逐渐覆盖整个物体而不是部分物体。
2 Method
我们的方法的整体架构如图2所示。给定一个图像，我们首先通过选择性搜索生成大约2000个对象建议。图像和这些提议被送到具有SPP层的一些卷积(conv)层，以产生每个提议的固定大小的conv特征图，然后它们被送到两个全连接(fc)层，以产生提议特征向量的集合。这些特征被分支成不同的流，即不同的阶段：第一个是MIDN训练一个基本的实例分类器，还有其他的精炼分类器。特别地，对分类器精炼的监督是由它们前面阶段的输出决定的，例如：the first 精炼分类器的监督来自于the basic classifier， [公式] 精炼分类器的监督来自于 [公式]精炼分类器。

2.1 多实例检测网络 Multiple instance detection network（MIDN）
训练精细分类器需要实例级的监督，但这种监督是不可用的。如前所述，实例分类器的top-scoring proposal及其相邻proposals可以标记到其图像标签上作为监督。所以我们首先引入我们的MIDN来生成基本的实例分类器。实现这个有很多可能的选择。在这里，我们选择了WSDDN的方法，该方法提出了一种加权池化（weighted pooling）策略来获得实例分类器，以提高其有效性和实现的便利性。请注意，我们的网络独立于特殊的MIL方法，因此任何可以端到端训练的方法都可以嵌入到我们的网络中。

2.2 在线实例分类器精炼 Online instance classifier refinement（OICR）

OICR 算法伪代码
Conclusion
本文提出了一种新的弱监督目标检测算法框架。与该领域的传统方法不同，我们的方法将基本的多实例检测网络和多阶段实例分类器集成到单个网络中。此外，我们还提出了一种在线实例分类器精化（OICR）算法来训练所提出的端到端网络。实验表明，我们的方法取得了实质性的改进。我们的学习算法有潜力应用于许多其他弱监督视觉学习任务。在未来，我们将探索其他线索，如实例视觉相似性，以更好地执行实例分类器细化。

本文来自知乎：https://zhuanlan.zhihu.com/p/364446344