Crowd Counting using Deep Recurrent Spatial-Aware Network

1.核心思想

提出了Deep Recurrent Spatial-Aware Network的网络架构 ，以传统方法忽略人在图像中旋转效果为出发点，主要提出了两个功能模块。
全局特征提取部分（GFE）和 Recurrent Spatial-Aware Refinement(RSAR)。其中GFE模块将整个图像作为输入，进行特征提取。RSAR模块通过Spatial Transformer Network定位图像中的兴趣区域，然后采用Local Refinement Network对密度图进行迭代优化。
1）Spatial Transformer Network，每次选取一个区域对图像进行平移、旋转和适当比例缩放，在进行处理。
2）Local Refinement Network，基于特征扭曲与残差学习对图像密度图进行优化。
以上两个模块构成的Deep Recurrent Spatial-Aware Network的网络架构提高了算法的鲁棒性和性能

2.算法流程与参数选择

1）GFE功能模块对输入图像进行特征提取，在用1*1卷积核得到初始图像。
2）通过STN实现区域选取，利用LRN和Global context计算密度图。
3）由于全连接层的存在，需要把图片转换成统一像素（大小），利用密度图和转换矩阵T获得区域密度图还不够，需要把密度图的像素提升到指定的大小。（这里采用的是双线性插值）
4）用tensorflow框架搭建人群密度估计图，初始化权重通过参数为 0.01的正态分布。初始学习率设为0.0001，每1k轮迭代学习率衰减0.98。batch为1（SGD）。Adam（加动量矩）调整参数值。

3.想法与猜测

1）图片转换的的像素提升采用的是双线性插值，是一种比较方便实现也还算比较有效的方法，不知是否尝试过双三次插值等针对超分辨率更有效的ISR算法，毕竟图像的分辨率恢复效果对结果可能会有不小的影响，
2）图片全局背景的有效性，删除图片背景后性能有所下降，图片背景包含了密度分布与密度水平的信息，更多的相关信息会更好的进行统计。