HRNet:基于高清表示网络的人体姿势估计

一、研究动机
人体姿势估计问题中关键点检测是其关键的一步，本研究主要针对该步骤进行优化。深度神经网络的特征抽取使得特征图不断缩减，而优化的突破口在于想获得一个具有高清表示信息的特征来提升关键点检测的精度。已有方法的关注重点在于高清信息的恢复，恢复方式包括三种：沙漏型对称网络结构、反卷积和空洞卷积。这些方法都是在下采样的基础上进行恢复，其精度不理想。HRNet采用在下采样的过程中不断加入并行的子网络分支，从而始终保持底层高清特征表示。因此，这种跨多分辨率的子网络信息交换使得高清信息更具表示性。
二、研究方法
首先采用高分辨率的子网络作为第一阶段；然后逐渐添加较低分辨率的子网络，得到多个阶段的子网络的输出；其中，第一阶段的每一个高分辨率特征图表示，都可以一次又一次地从其它并行表示分支接收信息，从而得到信息更丰富的高分辨率表示。最后，输出的第一阶段子网络的输出是经过多次加入低分辨率融合的一种高清表示。基于之中高清特征表示的网络输出的关键点heat map更精确，空间分辨率精度更高。其网络结构如下图所示：

并行化多分辨率子网络及重复多尺度融合
每一阶段的分辨率特征图都由上一阶段的分辨率特征图以及它的下采样特征图组成，每一条子网络中特征图的尺度不变，但是相邻两条子网络的尺度随着不断加入其尺度会减小，其具体并行结构图下图所示：