Geometric and Physical Constraints for Head Plane Crowd Density Estimation in Videos

创新点一：

这篇文章从解决透视畸变入手，先提出以往解决透视畸变的方法是学习具有尺度不变性的特征和将输入图片分为不同尺寸的图像块进行估计两种方法。透视畸变对人群密度估计产生的影响往往在于远近像素代表的实际大小不同。举个例子，远近相同大小的两片区域站相同数量的人，如果不考虑透视畸变，则估计出来的两片区域的人群密度是不同的。文章中也给出了实验证明：

a中的红框中两块区域的密度是差不多的，但是真值图b显示，两块区域的颜色差距很大，这就是透视畸变的结果。c中使用了透视图，结果准确了很多。

作者接下来提到，使用透视图本质上就是利用了每平方米上的人数作为密度，利用实际空间中的面积而不用图像空间中的像素概念，这样就避免了透视畸变。基于这个原因，真值密度图需要重新建立，作者给出了建立真值密度图的方法——头平面法。
假设H_i是图像I_i到头平面的映射，我们定义真值密度是在头平面上以人的头为中心的高斯核的和，因为是在真实空间内，所以不需要对高斯核进行几何自适应的调整。头部标记为P_i，与其对应的在头平面上的点即为H_iP_i，给出头部标记的集合A_i，则头平面上P附近的密度G_i’为:

N表示2D高斯核。然后再转换一次：

G_i（P）就是最终的转换结果.
这里有些看不懂。。。

接下来是透视图M的建立过程：

J为雅可比矩阵，xy为图像平面的点，x’y’为头平面的点。M本质上就等于相同一块区域，头平面的面积与像平面面积之比。

创新点二：

作者提出了一种新的损失函数。因为作者针对的是视频中的人群密度估计，所以连续几帧之间势必存在联系。假设有标记的帧为t1时刻，t0和t2时刻的帧无标记，建立区域：

服从约束：t1时刻的1个橙色块中的人数少于或等于t0和t2时刻中所有橙色块中的人数。由此可建立损失函数：