1、最小单位 Residual 模块
首先:
白色方框:卷积操作
浅蓝:Batch Normalization
浅紫:ReLU
第一行为卷积路,由三个核尺度不同的卷积层(白色)串联而成,间插有Batch Normalization(浅蓝)和ReLU(浅紫);
第二行为跳级路,只包含一个核尺度为1的卷积层;如果跳级路的输入输出通道数相同,则这一路为单位映射。
其中,卷积路做了特征提取的工作,跳级路做了特征回馈作用。例如:
卷积路: 1*1(降维) +3*3 +1*1(升维)的操作
2、一阶Hourglass (由多个residual组合而成)
其中,
上半路: 直接原图原尺度进行特征提取
下半路: 先降采样,特征提取后,上采样 (降采样:max_pooling 上采样:最近邻插值)
二阶Hourglass (将一阶中虚线部分,变成一个一阶模块即可)
四阶Hourglass (套娃定理):
观察可得,四阶输入图片大小一共下采样4此,上采样4次,这是规律。
- Intermediate Supervision(中间监督)
-
- 作者在整个网络结构中堆叠了许多hourglass模块,从而使得网络能够不断重复自底向上和自顶向下的过程,作者提到采用这种结构的关键是要使用中间监督来对每一个hourglass模块进行预测,即对中间的heatmaps计算损失。
-
- 关于中间监督的位置,作者在文中也进行了讨论。大多数高阶特征仅在较低的分辨率下出现,除非在上采样最后。如果在网络进行上采样后进行监督,则无法在更大的全局上下文中重新评估这些特征;如果我们希望网络能够进行最佳的预测,那么这些预测就不应该在一个局部范围内进行。
-
- 由于hourglass模块整合了局部和全局的信息,若想要网络在早期进行预测,则需要它对图片有一个高层次的理解即使只是整个网络的一部分。最终,作者将中间监督设计在如下图所示位置