目标对象排名有关的论文阅读

第一篇

恢复显著对象检测：多个显著对象的同时检测、排序和细分

2018年的论文

摘要和相关工作

显著目标检测是一个已被详细考虑的问题，并提出了许多解决方案。在本文中，我们认为，迄今为止的工作已经解决了一个相对不确定的问题。具体来说，当多个观察者被查询时，什么构成了显著对象并没有普遍的共识。这意味着某些物体比其他物体更有可能被认为是显著，并意味着在显著物体上存在相对等级。本文提出的解决方案解决了这个考虑相对等级的问题，并提出了适合于在相对对象显著性对象中衡量成功的数据和度量标准。提出了一种基于相对显著性的层次表示和逐步细化的深度学习解决方案。我们还表明，显著对象子化问题可以用相同的网络来解决，并且我们的方法在考虑的所有度量（传统的和新提出的）上都超过了任何先前的工作。

之前的工作中，大致有发展如下：1。是利用超像素和目标区域的建议实现精确的目标检测，遵循多分支结构。2. 是多层特征的融合，浅层和深层的阶段性短连接，复杂一点就是利用多层次特征进行递归和微调，通过一些边界细化最后融合生成最终预测3.是先生成一个粗糙的预测图，然后逐步细化，当然还有很多通过局部上下文信息细化的，也有通过在特定卷积层后重新制定的退出来量化卷积特征中的不确定性，以及一种新的上采样方法来减少反褶积的伪影，从而为显著目标检测提供更好的边界。

这篇论文是这么说的：

与上述方法相比，我们通过应用新的机制来控制网络中的信息流，通过逐步细化来实现空间精度，同时重要的是还包括一种叠加策略，隐式携带确定相对显著性所需的信息。

网络结构：

我们提出了一种新的端到端框架来解决检测多个显著对象并根据其显著性对对象进行排序的问题。我们提出的显著目标检测网络是受到卷积-反褶积管道[28,24,12]的成功启发，其中包括一个用于初始粗级预测的前馈网络。然后，我们提供了一个阶段细化机制，在精细结构的预测逐渐恢复。图2显示了我们所提出的网络的总体架构。编码器阶段作为一个特征提取器，将输入的图像转换为一个丰富的特征表示，而细化阶段试图恢复丢失的上下文信息，以产生准确的预测和排序。我们首先在第3.1节中描述初始粗糙显著性映射是如何生成的。接下来，我们分别在第3.2节和第3.3节中详细描述了阶段级细化网络和多阶段显著性地图融合

图 1

分三个阶段，一个基本的特征提取过程，一个是阶段预测信息细化过程 一个是排名任务细化过程

1 ：使用resnet-101作为基本特征提取器，最后生成的特征图是输入的八分之一

2  SCM :

三个卷积层组成，用于生成所需的显著性映射。初始卷积层有6个通道和3×3内核，然后是两个卷积层，分别有3个通道和3×3内核和1个通道和1×1内核。SCM中的每个通道为嵌套的相对显著性堆栈的每个空间位置学习一个软权值，以便基于像素属于那一个显著对象的置信度来标记像素。

阶段细化过程：为了是粗预测和前面的网络层特征表示结合，恢复解码阶段最后丢失的上下文信息。

细化网络由连续阶段的等级感知细化单元组成，这些细化单元试图在每个细化阶段恢复缺失的空间细节，并保持显著对象的相对等级顺序。每个阶段的细化单元将前面的NRSS（粗预测图）和早期更精细的尺度表示作为输入，并执行一系列操作来生成细化的NRSS，这有助于获得细化的显著性映射。请注意，细化分层NRSS意味着细化单元正在利用不同scm级别上的一致性程度来迭代地提高相对秩和总体显著性的置信度。最后阶段，将scm生成的精细显著性映射进行融合，得到整体显著性映射。

具体细化过：

 

 门控单元生成的门控特征图，和解码器生成的粗预测图叠加，使用一系列变换函数Tf

所有的粗预测图和细化预测图都执行监督

最后在网络的末端添加一个融合层，将不同阶段的预测显著图，得到融合特征图，通过一个一乘一卷积，得到最后的预测结果。

其他细节：

对地面真相的堆叠表示：

显著目标检测或分割的地面真相包含一组定义每个像素的显著性的数字。传统的生成二进制掩模的方法是通过阈值化，这意味着不存在相对显著性的概念。

为了解决这个问题，我们建议生成一组堆叠的地面-真实映射，它对应于不同的显著性级别（由观察者之间的协议定义）。给定一个地面真性显著性映射Gm，我们得到了N个地面真性映射（Gi，Gi+1，.....，GN）的堆栈Gϑ，其中每个映射Gi包含一个二进制指示，至少我的观察者判断一个对象是显著的（以每像素水平表示）。N是参与标记显著物体的不同参与者的数量。堆叠的地面真相显著性映射Gϑ为多个突出对象提供了更好的分离(见等式(4)举例说明)，也自然地作为相对等级顺序，允许网络学习关注显著性的程度。重要的是要注意堆叠地面真相的嵌套性质，其中Gi+1⊆Gi。

这在概念上是重要的，其中Gi = 1⇐⇒完全是i观察者同意，在地面真实堆栈中导致零层，以及基于一致程度的小差异的地面真实的大变化。

 突出对象子网络：

以前的工作[35,7]将子化视为一个简单的分类任务。与我们的多显著目标检测网络类似，子化网络也基于ResNet-101 [6]，除了我们删除了最后一个块。我们在最后添加一个完全连接层，为输入图像中存在的0、1、2、3和4个+显著对象生成一致性分数，然后生成另一个完全连接层，从而生成每个类别的最终置信度分数。这背后的原因是，单个层允许与显著性相关的信心积累，而两层允许对相对显著性的推理。我们使用预先训练好的检测模型来训练子化网络。作为一个分类器，子化网络减少了地面真实值中显著对象数n与总预测对象之间的两个交叉熵损失`1子（c，n）和`f子（cf，n）。

同时建立一个数据集：