经典论文复现 | PyraNet：基于特征金字塔网络的人体姿态估计

过去几年发表于各大 AI 顶会论文提出的 400 多种算法中，公开算法代码的仅占 6%，其中三分之一的论文作者分享了测试数据，约 54% 的分享包含“伪代码”。这是今年 AAAI 会议上一个严峻的报告。 人工智能这个蓬勃发展的领域正面临着实验重现的危机，就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。最根本的问题是研究人员通常不共享他们的源代码。 

可验证的知识是科学的基础，它事关理解。随着人工智能领域的发展，打破不可复现性将是必要的。为此，PaperWeekly 联手百度 PaddlePaddle 共同发起了本次论文有奖复现，我们希望和来自学界、工业界的研究者一起接力，为 AI 行业带来良性循环。

作者丨黄泽宇

学校丨深圳大学

研究方向丨计算机图形学、深度学习

Learning Feature Pyramids for Human Pose Estimation 是发表在 ICCV 2017 的一篇有关人体姿态估计的论文，提出利用特征金字塔来进行人体姿势预测。作者是 Wei Yang，香港中文大学博士生。

论文复现代码： 

http://aistudio.baidu.com/aistudio/#/projectdetail/24019

人体姿态估计介绍

人体姿态估计是计算机视觉领域一个较有挑战性的任务，问题的输入是一张图片，输出是图片中的人体各个关节点的位置，如下图所示。人体姿态任务可以是单人姿态估计，或者是多人姿态估计，而本文给出的方法是单姿态估计，即一张图片只预测一个人的姿态。

在本文之前，在人体姿态估计效果较好的工作是 2016 年 Alejandro Newell 等人的 Stacked Hourglass Networks for Human Pose Estimation [1]，而本文的网络结构是在此之上的改进， 因此 Hourglass Network 的相关设计对理解本文网络非常重要。

重要工作介绍

Stacked Hourglass Network

Stacked Hourglass Network 是一种堆叠沙漏型的全卷积网络，能够很好地捕捉图片的多尺度特征，并由粗到细地预测关节点位置的热力图 Heatmap，即关节点出现在各个位置的概率。最终的关节点的位置预测结果取 Heatmap 中概率最大的索引。

网络的基本结构如下图所示，可以看到网络后面都是由一个个沙漏型的结构堆叠而成的。

Hourglass Module 

沙漏模块则是一种编码器-解码器加短接层的设计，其动机是捕获多尺度信息。因为对于人体的各个不同部位的大小尺度是不一样的，通过短接层将不同尺度下的特征图加入到解码阶段可以获得更尺度的信息，从而得到更精准的预测。

Hourglass 模块和 Networks 中的白色方块表示的都是类似于 ResNet 中的残差模块 [2]，其作用是在保留原特征信息的同时进一步提取更深层次的特征，同时也能使得网络变得更深又不至于梯度消失。

像堆叠残差模块一样堆叠沙漏模块就得到了堆叠沙漏网络。值得注意的是，沙漏模块的输入和输出大小可以是一样的，也就是说在每个沙漏模块之后都可以进行最终结果的预测并计算损失，起到中间监督作用。

另外，上层模块的预测结果也可以作为下层模块的输入，从而更好的帮助下层模块进行预测，因此预测结果也可以通过 1*1 的卷积重新加入到原来的特征中，进行由粗糙到细致的估计。

改进方向 

为了捕捉不同尺度的，除了使用短接层，还可以使用不同的卷积核同时进行卷积，再将得到的特征进行叠加，比如 Inception 模块 [3]。Inception 模块通过使用不同大小的卷积核以及 1*1 的卷积使得网络能够捕捉不同分辨率的特征，并减少参数数量。

而在减少参数数量方面，ResNeXt 又在 ResNet 更进一步 [4]，将初始的输入分裂成多条分支进行卷积，其中每条分支的卷积核大小都是一样的。

另外，使用空洞卷积也可以获得多尺度的特征 [5]&#