HR Net阅读笔记

HR Net阅读笔记

摘要

大多数现有方法从由高到低分辨率网络产生的低分辨率表示中恢复高分辨率表示。相反，本文在整个过程中保持高分辨率的表示。本文将高分辨率子网开始作为第一阶段，逐步添加高到低分辨率子网以形成更多阶段，并行连接具有不同分辨率的子网。本文还进行了重复的多尺度融合，使得高到低分辨率表示可以重复从其他分辨率的表示获取信息，从而导致丰富的高分辨率表示。因此，预测的关键点热图可能更准确，空间更精确。

1、简介

• 多数现有方法：通过由高分辨率到低分辨率的子网串联而成的网络处理输入。
  • Hourglass：通过对称的低到高分辨率过程(symmetric low-to-high process)恢复高分辨率
  • SimpleBaseline：采用转置卷积层¹ 生成高分辨率的表示
  • VGGNet/ResNet后几层：空洞卷积(dilated convolution)²增大感受野(receptive field)并捕获多尺度信息

• HR Net：整个过程中保持高分辨率表示。以高分辨率子网开始作为第一阶段，逐个添加高到低分辨率子网以形成更多阶段，并且并行连接多分辨率子网。在整个过程中反复交换并行多分辨率子网络中的信息来进行重复的多尺度融合。
  • 优点：
    （1）并行连接高低分辨率子网，能够保持高分辨率而不是通过从低到高的过程恢复分辨率，因此预测的热图可能在空间上更精确。
    （2）借助相同depth和level的低分辨率表征进行重复的多尺度融合以提高分辨率的表示。因此，预测的热图可能更准确。

个人感受：保持高分辨率而非通过low-to-high的处理做覆盖在一定程度上能使结果更精确，而同时不同分辨率图像采样到相同尺度的反复融合，在一定程度上增加了并行子网间的交互并保持了信息量，加之网络的学习能力，能使最终结果趋于正确的表示。

2、相关工作

2.1 High-to-low and low-to high

high-to-low生成low-resolution、high-level的表征，而low-to-high产生high-resolution的表征。多次重复这两个步骤可以提升性能。

• symmetric low-to-high process：对称结构。eg. Hourglass
• Heavy high-to-low and light low-to-high：high-to-low基于ImageNet分类网络，low-to-high简单采用双线性上采样(bilinear-upsampling)或转置卷积层(transpose convolution)。 eg. cascaded pyramid，simple baseline

此处的heavy和light理解：

• heavy指下采样时经过很多卷积，结构较复杂
• light指上采样时只经过较少的层，形式偏简单

• combination with dilated convolutions：消除空间分辨率损失

2.2 Multi-scale fusion

最直接的方法是将多分辨率图像分别送入多个网络，并aggregate聚合输出响应映射图。

• Hourglass：使用跳层连接将high-to-low处理中的low-level特性合并到low-to-high处理中相同分辨率的high-level特征，恢复下采样丢失的信息。
• Cascaded pyramid：globalnet将high-to-low处理中的low-to-high level特征逐步合并到low-to-high处理过程中，然后refinenet将经过卷积处理的低到高特征组合到一起。

2.3 Intermediate supervision

中间监督或深度监督。早期用于图像分类，现也被用于帮助深度网络训练和提升热图估计质量。