[论文笔记]C^3F,MCNN:图片人群计数模型

(万能代码)CommissarMa/Crowd_counting_from_scratch

代码：https://github.com/CommissarMa/Crowd_counting_from_scratch

(万能代码)C^3 Framework开源人群计数框架

科普中文博文：https://zhuanlan.zhihu.com/p/65650998

框架网址：https://github.com/gjy3035/C-3-Framework

web端人群计数标注工具：https://github.com/Elin24/cclabeler

（S1）数据处理：训练集融合了六个主流数据集，并进行数据预处理，UCF_CC_50，Shanghai Tech Part A，WorldExpo'10，UCF-QNRF以及GCC。测试集：Shanghai Tech Part B数据集（选择这个，是因为：图像尺寸相同，便于多batch-size的训练和测试，能够最大化利用显卡，节省显卡资源和训练时间。）。将数据整理成PyTorch下的data loader格式。

（S2）根据原图生成密度图density map

1. 因为，在人群计数领域中，常见encoder中一般输出为1/8原图尺寸。所以 ，在预处理时对图像的高和宽进行了限制，使其能够被16整除。从而，确保网络中一些含有下采样down sampling操作的层（conv with stride2 或者池化）能够正确输出。

2. 为节约显存，对QNRF和GCC的图像进行了保持长宽比的降采样操作。

 

（S3）数据预处理

（3.1）多Batch-size训练

由于UCF50、SHT A、QNRF所包含的图像尺寸不一，随机从这三个数据集中取出图片，他们的大小是不一样的，因此需要以尺寸最小的那个为标准,将其他大的图片裁小。我们重写了collate_fn函数。该函数在随机拿到N张图像和GT后，选择最小的高h_min和最小的宽w_min对所有图像进行crop，拼成下面这个size的Tensor送进网络中训练

 

根据经验，（1）如果是from scratch training，对于这几个数据集建议采用多batch size训练或者（2）采用GCC-SFCN中加padding的方案，（3）对于有预训练参数的模型（AlexNet，VGG，ResNet等），建议采用单一batch size进行训练。

（3.2） Label Transform-对密度图进行transform的操作

[1]参考了CSRNet源码[6]中对密度图进行降采样的操作（GTScaleDown）[2]对密度图点乘一个放大因子（LabelNormalize）

（3.3）GTScaleDown

我们的目的是使得密度图之和等于总人数。但是，网络回归密度图为原图的8/1。因此我们选择采用增加上采样层来实现与原图大小的密度图。