人群计数：Single-Image Crowd Counting via Multi-Column Convolutional Neural Network(CVPR2016)

中文翻译：
人群计数：Single-Image Crowd Counting via Multi-Column Convolutional Neural Network(CVPR2016)
基于多列卷积神经网络的单图像人群计数

主要贡献：MCNN和Shanghaitech数据集

密度图生成见：人群计数（Crowd Counting）相关内容

I. Introduction

介绍了为什么要进行人群计数，也就是进行人群计数的意义。

Related work

这部分介绍了进行人群计数的集中方法：
1. 基于检测的人群计数方法 早期的方法采用一种检测风格的框架，该框架在视频序列的两个连续帧上扫描检测器，基于增强外观和运动特征来估计行人的数量。在基于检测的人群计数方法中，人们通常假设一个人群是由一些给定的检测器可以检测到的个体组成的。这种基于检测的方法的局限性是，在聚集环境或非常密集的人群中，人之间的遮挡会显著影响检测器的性能，从而影响最终的估计精度。
2. 基于视觉特征轨迹聚类 在计算视频中的人群时，人们提出对跟踪的视觉特征的轨迹进行聚类。例如，[24]使用高度并行化的KLT跟踪器和聚类法来估计移动人群的数量。[3]对简单的图像特征进行跟踪，并将其概率性地分组为代表独立运动实体的聚类。然而，这种基于跟踪的方法并不能用于从单个静态图像中估计人群的数量。
3. 基于特征的回归方法 人群计数最广泛使用的方法可以说是基于特征的回归，这种方法的主要步骤是: 1)前景分割; 2)从前景中提取各种特征，如人群掩模的面积 3)利用回归函数估计人群数量。线性或分段线性函数是相对简单的模型，具有良好的性能。其他更先进/有效的方法是岭回归(RR)、高斯过程回归(GPR)和神经网络(NN)
4. 基于CNN的方法来统计不同场景下的人群 Zhang等提出了一种基于CNN的方法来统计不同场景下的人群。他们首先为特定场景预先训练网络。当给定一个新场景的测试图像时，他们根据视图信息和密度图的相似性，选择相似的训练数据对预先训练的网络进行微调。他们的方法在大多数现有数据集上表现良好。但他们的方法需要在训练场景和测试场景上都绘制透视图。不幸的是，在许多人群计数的实际应用中，透视图并不容易获得，这限制了这种方法的适用性。

而后介绍了本文面临的挑战的基础下的贡献：
1.多列结构，使用不同感受野大小的滤波器，以应对人群规模变化大的情况。
2.全连接使用1*1的卷积层代替，这样输入图片的大小可以是任意的。
3.其他数据集变化不够多样，不符合此模型的挑战要求，新建Shanghaitech数据集

2. Multi-column CNN for Crowd Counting

2.1部分介绍了密度图生成的方法，详见人群计数（Crowd Counting）相关内容中有关密度图生成部分，啊，我还是不复制过来了。

2.2部分介绍了MCNN网络模型。
MCNN网络结构：

损失函数如下图所示：

因为网络中的池化层使原图片变为其1/4，所以再计算密度图之前也要将图片下采样为1/4，为了计算损失函数时两者的大小相同。

2.4部分介绍MCNN三列的初始化方法：通过将第四层卷积层的输出映射成密度图，分别对每一列CNN进行预训练，后用这些预训练的参数做MCNN初始化并微调参数。

Experiment

评价指标：MAE，MSE

介绍shanghaitech数据集

数据处理：

消融实验：
1.预训练与没有预训练的对比
2.单列与整体的对比
3.还与其他损失函数进行了对比

不同模型之间的对比：
数据集：UCF_CC_50, UCSD，WorldExpo’10，Shanghaitech
UCF_CC_50：MCNN方法在除了UCF_CC_50（训练图片数量太少，难以满足深度学习的需求）以外的常用人群计数数据集上均取得最好的性能

在UCF_CC_50上有五折交叉验证（5-fold cross-validation）：
5折交叉验证是一种常用的机器学习模型评估方法。它将数据集分成5个相等的部分，每次将其中一部分作为测试集/验证集，其他4部分作为训练集，重复进行5次，每次都选取不同的部分作为测试集，最后将5次在验证集上的评估结果取平均值作为模型的评估结果。这种方法可以有效地避免过拟合问题，并且能够更准确地评估模型的性能。

UCSD数据集中存在ROI（感兴趣区域）： ROI是指感兴趣区域（Region of
Interest），它是指图像或视频中用户感兴趣的区域。通过确定ROI，可以减少算法处理的计算量，提高处理效率，并且可以更加准确地定位和处理图像中的目标。

3.6 Evaluation on transfer learning

transfer learning：将一个已经在大规模数据集上进行过训练的神经网络模型应用到新的任务中去的一种技术
表格中后面两行是微调全部MCNN还是微调后两层，结果是微调全部MCNN的结果与只在U数据集上训练得到的模型效果差不多。