人群计数：Crowd Density Estimation Using Fusion of Multi-Layer Features(TITS2020)

本博文主要是介绍一篇发表在IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS上的人群计数方案《Crowd Density Estimation Using Fusion of Multi-Layer Features》

一、摘要

 探究了尺度信息对于人群计数的重要性,本文提出了一个多尺度融合模块来有效的融合网络中的不同尺度信息。从而实现准确的人群计数。在本文中还引入一种基于块的度量方式 PAE (Patch Absolute Error) 来度量人群密度图的合理性。

 

二、问题

目前基于卷积神经网络的方法在人群密度估计任务上已经取得比较显著的进步,但这仅仅只是开始,针对人群密度估计这个任务来说,目前还有几个问题迫切需要解决。
(1)人头尺度变化
关于人头尺度变化的解决方法,在 MCNN 、Switch-CNN 和 CrowdNet中,作者提出使用多列的神经网络框架来提取不同尺度下的人头信息,从而有效地提升最终计数的结果。但是目前这种多列框架存在的一个问题就是不同列之间的特征是独立的,这严重限制了有效特征的学习。另外多列网络一般通过叠加的方式将多个尺度的信息融合在一起,但多列信息之间一般存在比较大的语义间隔, 这种语义间隔将干扰最终计数的结果。
(2)密度图合理性
对于密度图合理性这一点,一方面是为后续的人群分析做准备,另一方面是希望网络输出的计数结果是真的正确的。目前的方法 一般通过提取更多的特征信息来生成更合理的密度图,而在评价方面,基于全图的误差MAE并不能真正正确反映秘密的准确性（如下图所示）,学者通过引入了 PSNR 和 SSIM来度量密度图的质量 ,但是这两个度量指标对于位置非常敏感,所以 PSNR和 SSIM 的密度图度量方式并不合理。因为人群计数中标注本身就存在像素级的偏差,这是不可避免的问题,并且这种像素级的偏差并不影响计数的结果。

三、模型

 

四、评价指标

在人群密度估计任务中,平均绝对误差(MAE)一般用来评估模型的精度,均方误差(MSE)用来评估模型的鲁棒性。但是仔细研究可以发现,对于一幅图像平均绝对误差关注的是模型估计的总人数与真实标注的人数之间的误差,它忽略了估计人数是否合理这个客观存在的问题。也就是说使用 MAE 和 MSE 不能很好的度量出密度图中的漏检与误检,而漏检和误检的存在会极大的影响人对于模型性能的主观评价,让人从总人数上觉得模型取得了比较好的性能,但仔细分析密度图却发现大量的存在大量的问题。如该论文中Fig.6 展示了一个直观的例子,图中漏检和误检的相互抵消作用,使得基于 MCNN 的方法似乎取得了很准确的计算结果。 

密度图中心点细微的变化就会引起 PSNR 和 SSIM 的急剧变化。对于人群密度这个任务来说这是很不合理的,因为细微的位置变化并不会影响计数,并且密度图的质量也不会有影响。综合考虑位置不敏感性与密度图合理性的权衡,论文引入了一个基于块进行评价的patch绝对误差(PAE)。

 

五、实验

从图Fig.7中可以看出论文的模型方法在大部分块上都具有更低的平均误差,这也是MAE和PAE都同时更好的原因。另外从图中也可以发现误差的主要分布是在 1-12 块上,这一现象与图像中的透视分布效应刚好是一致的。分析原因可以知道图像中的远处一般人头小、拥挤严重且人数比较多,这使得网络对于该部分特征一般比较难提取,导致最终的结果一般都比较差。而 MCNN 在 1-12 上的大误差也说明了一个严重的问题,其结果在远处误检和漏检非常严重,也就是说统计出的 MAE 和 MSE 是不太靠谱的,通过 PAE(141.5)的结果就可以很好的说明。

 对于图 Fig.8误差的分布图,总体上来看类似于一个高斯分布,误差基本出现在零的附近,少部分出现在两边。需要强调的一点是,对于本文的方法,在-5到 5 这个误差区间内的图像块接近 75%,而 MCNN 的方法却只有 50%左右的块误差在 正负5 以内,这也就是说本文方法在大部分的图像块上都取得了比 MCNN 更准确的结果。