目标检测——day46 利用单线程快速显著目标检测的深度非局部模型

资源下载

点击下载原文pdf

I Introduction

contributions:

1. 我们提出了一种新颖的DNL模块，旨在挖掘上下文中的通道内和通道间相关性。所提出的模块以可忽略的额外推理时间为代价，增强了IR块的拟合能力。

2. 我们提出了一种快速深度非局部神经网络，它不仅展示了使用单个CPU线程的最新推理速度，而且在深度学习方法中获得了竞争性的检测精度 (如图1所示)。

3. 我们进行了广泛的实验，验证了DNL模块和建议的网络框架的有效性和效率。

III. METHOD

A. Depthwise Nonlocal Module

Fig. 2.©，提出的模块是具有两种可能类型的残余层的残余块。一种类型的层称为垂直或垂直分割层，另一种是水平或水平分割层。在垂直分裂层中，我们将Ik，j作为特征向量。在水平拆分层Ik中，i被视为特征向量。这两种类型的层以相似和对称的方式设计。

Fig. 3，垂直分割层：

1. 输入特征图可以看作是C × W特征向量，并且每个向量具有H个元素。为了利用交叉通道特征，我们首先通过测量这些CW向量之间的成对相似性来计算注意力图。
2. 具有相同信道的特征向量共享相同的参数u θ。由于层 θ 和 φ 嵌入具有不同权重的输入特征的不同通道，因此我们将 θ 和 φ 命名为 “通道方向嵌入层”
3. 水平分割层是垂直分割层的对称形式

B. Divide-and-Conquer

通过将输入特征图划分为多个子张量来加速朴素的DNL模块
Fig. 4(b)，C × W平面上的所有特征向量对都用于测量相似性
Fig. 4©，分而治之DNL，特征张量分为两个子张量，向量对仅从同一子张量中采样。对于每个子张量，通过计算成对相关性获得较小的亲和矩阵。softmax操作分别应用于每个亲和矩阵。不同的子张量仍然共享相同的w θ 和w φ。子张量的数量由分裂数s控制。

C. Complexity Analysis

TABLE I

D. Model Architecture

Fig. 5.，基于建议的模块开发了深度非局部神经网络。所提出的网络由一个编码器、一个atrous空间金字塔池模块（ASPP） 和一个解码器组成。
我们提出的DNL模块位于某些IR模块之间，以增强所有特征图通道之间的非局部相关性
从理论上讲，DNL模块可以放置在骨干网的任何位置。

IV. EXPERIMENTS

A. Comparison on Quality of Saliency Maps

Table II

1. 将所提出的DNL网络与现有的显着目标检测模型对比，提出的方法在所有四个基准和三个标准上都明显优于MobileNet-V2和ShuffleNet，因为它们无法捕获对比度以及对显着性推断至关重要的信道相干信息。
   

Fig. 6
2. 我们提出的方法成功地分割了具有一致显着值和清晰边界的完整前景对象。

B. Comparison on Efficiency

Fig. 7，较大的S度量意味着更准确的预测，而较小的值意味着较低的效率度量成本。因此，我们提出的方法在Smeasure-CPU时间，Smeasure-Mem，Smeasure-MAdds和Smeasure-Params的散点图上实现了效率和质量之间的最佳权衡

V. CONCLUSION

本文介绍了一种新颖的DNL模块，该模块有效地提高了IR模块的精度。提出了DNL的分而治之变体，以进一步加速推理。此外，我们开发了一种基于DNL的轻量级网络体系结构，具有低内存成本，高推理速度和具有竞争力的准确性。数值结果表明，在基于深度CNN的方法中，我们的方法不仅实现了竞争精度，而且实现了最先进的效率。