2018_Csrnet: Dilated convolutional neural networks for understanding the highly congested scenes

说明

本文是对以下这篇文章的总结及部分翻译。
Li Y, Zhang X, Chen D. Csrnet: Dilated convolutional neural networks for understanding the highly congested scenes[C]//IEEE conference on computer vision and pattern recognition. 2018: 1091-1100.

概括

Li等人提出了CSRNet网络结构用于人群计数和高质量的密度图生成，实现了端到端地训练。该网络分为两个部分：一部分由卷积神经网络作为提取特征的前端(这里用的是VGG16的前10层，后3层卷积作为后端的前边一部分，3层全连接层删掉不用)；另一部分由空洞卷积（dilated convolutional）作为后端，利用空洞卷积层取代池化操作，CSRNet可以在不失去分辨率的情况下扩大接受域，从而聚合拥挤场景中的多尺度上下文信息。

由于CSRNet的纯卷积结构，它是一种易于训练的模型。

一、Introduction（一个interesting的实验观察现象）

之前拥挤场景分析大多基于多尺度体系结构，如以下文献。取得了很高的性能，但是他们使用的设计的网络越深的时候也引入了两个显著的缺点:大量的训练时间和无效的分支结构(如multi-column CNN，(MCNN)[c])。本文设计了一个实验来证明MCNN并没有比Table 1中更深层的规则网络表现得更好。

使用[c]中MCNN的主要原因是跨列不同大小的卷积滤波器提供的灵活的接受域。直观上，MCNN的每一列都是专用于某一级别的拥挤场景。然而，使用MCNN的效果可能并不显著。我们给出Figure 2来说明由三个分离的列学习的特征(代表大、中、小的接受域),并利用ShanghaiTech Part A数据集对其进行评估。图中的三条曲线对于50个不同拥挤密度的测试用例有着非常相似的模式(估计错误率)，这意味着这样的分支结构中的每一列学习了几乎相同的特征。它违背了MCNN设计的初衷，学习每个列的不同特征。

a) Switching convolutional neural network for crowd counting[C]//CVPR, 2017.
b) Generating high-quality crowd density maps using contextual pyramid cnns[C]//ICCV, 2017.
c) Single-image crowd counting via multi-column convolutional neural network[C]// CVPR, 2016.
d) Crowdnet: A deep convolutional network for dense crowd counting[C]//ACM international conference on Multimedia. 2016.
e) Towards perspective-free object counting with deep learning[C]//ECCV, 2016.

二、CSRNet基本网络结构

实现发现，膨胀率为2时，效果最好，结果如下图。剩余实验皆采取第二列网络结构。

三、实验结果

**数据增强：**我们在每个图像的不同位置裁剪9个小块，大小为原始图像的1/4。前4个patch包含图像的4 / 4，没有重叠，其余5个patch从输入图像中随机裁剪。在那之后，我们对补丁进行镜像，这样我们的训练集就加倍了。

在ShanghaiTech数据集上的实验结果如下。还在UCF CC 50 dataset、The WorldExpo’10 dataset、UCSD dataset进行了实验，结果不一一列出。UCSD dataset实验的另一个结果表明，该方法不仅可以完成极为密集场景下的计数任务，而且可以完成相对稀疏场景下的计数任务。

实验结果不仅在人群计数上实现了拥挤场景下的最先进结果（2018年），还将模型扩展到车辆计数任务，该模型也达到了最好的准确性。

参考文献

Li Y, Zhang X, Chen D. Csrnet: Dilated convolutional neural networks for understanding the highly congested scenes[C]//IEEE conference on computer vision and pattern recognition. 2018: 1091-1100.