【文献阅读】在遥感图像中引入密度图导向的目标检测（C. Li等人，CVPR，2020）

一、背景

文章题目：《Density Map Guided Object Detection in Aerial Images》

一篇目标检测的文章。

文献下载地址：https://openaccess.thecvf.com/content_CVPRW_2020/papers/w11/Li_Density_Map_Guided_Object_Detection_in_Aerial_Images_CVPRW_2020_paper.pdf

文献引用格式：Changlin Li, Taojiannan Yang, Sijie Zhu, Chen Chen, Shanyue Guan. "Density Map Guided Object Detection in Aerial Images." In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020

项目地址：暂时没公开

二、文章简介

Object detection in high-resolution aerial images is a challenging task because of 1) the large variation in object size, and 2) non-uniform distribution of objects. A common solution is to divide the large aerial image into small (uniform) crops and then apply object detection on each small crop. In this paper, we investigate the image cropping strategy to address these challenges. Specifically, we propose a Density-Map guided object detection Network (DMNet), which is inspired from the observation that the object density map of an image presents how objects distribute in terms of the pixel intensity of the map. As pixel intensity varies, it is able to tell whether a region has objects or not, which in turn provides guidance for cropping images statistically. DMNet has three key components: a density map generation module, an image cropping module and an object detector. DMNet generates a density map and learns scale information based on density intensities to form cropping regions. Extensive experiments show that DMNet achieves state-of-the-art performance on two popular aerial image datasets, i.e. VisionDrone [30] and UAVDT [4]。

目标检测是难点，因为，目标尺寸变化大，目标不均匀分布。一般对于遥感图像的的处理就是把大的图像分成小的图像，然后再对每一个小的图像进行目标检测。本文则是考虑使用一种新的裁剪策略以解决这个问题。即提出了密度图导向的目标检测网络DMNet。DMNet有三个关键组成：密度图生成模块，图像裁剪模块，目标检测模块。DMNet在两个数据集上表现出了最好的效果。

三、文章内容

目前遥感图像的目标检测，和传统图像的目标检测不太一样，主要问题表现在，一个是尺度的多样性，解决思路就是把图像裁剪成小块，这样就能一定程度识别小尺度目标，但是裁剪却不能使用语义信息，使得可能一个大的完整目标会裁剪成多个不完整的小目标。因此这篇文章就考虑使用密度估计图来进行裁剪：

作者提出的网络结构如下：

与传统的目标检测方法相比（RCNN系列，SSD系列，RetinaNet），裁剪方式简单，裁剪保留完整性，训练简单。

本文的主要贡献如下：

• We are the first to introduce density map into aerial image object detection, where density map based cropping method is proposed to utilize spatial and context information between objects for improved detection performance. 引入了密度图。

• We propose an effective algorithm to generate image crops without the need of training additional deep neural networks, as an alternative to [26]. 训练简单。

• Extensive experiments suggest that the proposed method achieves the state-of-the-art performance on representative aerial image datasets, including VisionDrone [30] and UAVDT [4]. 在两个数据及上表现很好。

航空遥感图像目标检测的困难目前有3点，1是小目标占大多数却难以检测，2是目标的尺度不一，3是数据集不平衡。目前也有了一定的工作，本文则提出了DMNet。

1. DMNet网络结构

DMNet由三部分组成：密度图生成模块，图像裁剪模块和融合检测模块。

（1）密度图生成模块

密度估计网络：这里密度估计作者采用Multi-column CNN (MCNN)的思路，并做了稍稍改进，对于航空影像，作者采用3种尺度。损失函数如下：

由于MCNN里面引入了两层池化，因此输出的特征还需要扩大4倍才能得到和原始图像大小的密度图，这里采用了三次插值的方式cubic interpolation。

真实密度图：为了获得ground truth，作者使用了geometry-adaptive几何自适应核方法和geometry-fixed几何修正核方法。这两种核方法的区别在于传播参数σ，自适应核的σ是由KNN计算得到的，修正核的σ是修正得到的。自适应核的定义如下：

用class-wise kernel改进ground truth：在修正核方法里面，裁剪时会忽略目标形状，因此可能会导致裁剪的目标不完整。比如下图所示：

作者为了改进这个问题，提出了class-wise density map ground truth generation method。首先在训练集上分析出每种目标的平均尺度，然后再通过平均尺度来估算σ。假定某种类别的平均宽和高为W和H，则：

（2）基于密度图的图像裁剪

密度掩膜生成：DMNet裁剪图像完全是根据密度图。作者在密度图中引入一个滑动窗，滑动窗的大小是这个目标的平均大小。滑动窗之间没有重叠，对滑动窗中目标象元数量求和，并与设定的密度阈值比较：

算法的伪代码如下：

根据密度掩膜进行密度裁剪：根据掩膜，用8连接方式连接目标象元的周围象元。最后用最小外接矩形来裁剪。然后对裁剪下来图像的分辨率与设定的密度阈值比较，小于则删除。

（3）密度裁剪后的目标检测

当获得了裁剪的图像之后，下一步就是检测目标并融合裁剪图像。首先分别在验证集和裁剪图像上进行检测，然后从裁剪的图像中收集预测的bounding boxes，并将检测结果叠加在原图上。最后再对bounding boxes进行非极大抑制，得到最终结果。非极大抑制的阈值设置为0.5。

最后给出作者的一些结果图，比较试验这里就不细说了：

四、小结