四篇早期人体姿态的论文

1、Learning Human Pose Estimation Features with Convolutional Networks

前面的网络回归人体关键点，重点讲一下手工的MRF和下文做对比

作者在做元统计的时候，采用直方图统计的方法来确定关节对之间的条件概率，如下图所示

如a）将fac规划到0的方向向量，统计sho出现位置，从而对sho的位置起到修正作用，最后作者的想法通过和积置信度网络来实现

下文则是用网络学出概率关系

2、Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation

首先引出一个传统的滑动窗做金字塔的例子，就先下图所示

已经有很多方法利用在整张图片上进行金字塔的构建

作者实现了一种复杂的构建方法

但是这种太费训练时间，作者有简化了一下，

网络结构和作者的思路看图就可以理解

本文的另一个贡献在于MRF的构建，对于false positive的一些预测要用MRF来将其去掉，本篇论文能够学习先验模型和整个图结构

1、将每个身体part和自己，周围的部位相连接，构建全连接图

2、heatmap提供每个部位的unary potential，pair-wise potential通过卷积算出来

3、部位A的条件概率是

在实际实施过程中，作者将分布变成能量函数来处理，避免配分函数Z的估计，最终使用的函数形式是

在上面的图中，W11经过softplus变成W，b11经过Softplus变成b,然后在方框内计算和积，参考公式即可。映射到log空间，使整个数值更加稳定，具体的网络实现如下，为了能够覆盖最大的部位偏移，例如肩膀和轴的距离，作者采用大的卷积核，卷积核大小是128x128，作者采用ffT加速

在训练上作者先训练前面特征图的提取，再训练MRF的部分，最后合起来训练

3、Efficient Object Localization Using Convolutional Networks

这篇文章主要解决pooling带来的效果减弱，基于上一篇文章做的，上一篇有3个bank

改进点

3.1、spatial dropout的提出

dropout是为了让输出之间解耦合，从而防止过拟合，但是因为我们用的是全卷积的网络，输出耦合性太强了，所以标准的dropout是不可行的

标准的drop在一张map上随机选取进行反传，作者认为一张map图上的应该关联性较强，不同的map图上的关联性反而应该有所减弱，所以最终的dropout的实现是在map图的层面上

3.2 数据扩增，重点是每幅图会给出人的中心位置，帮助定位好人，没标注的人将不再损失计算之内，后来CMU的CPM也是这么做的

3.3 新的网络结构

首先是crop操作，crop操作这里关键是梯度反传，从crop后的图像中采样位置来的梯度会简单的加在coarse阶段heatmap上

fine heatmap model用的是Siamese，为了减少参数量，参数选择共享

3.4 训练的时候先训练粗糙部分，然后又是fine部分，最后一期训练

3.5 划分了MPII的验证集，哈哈，从此之后所有人都参考他

4、DeepPose

最早做人体姿态的深度网络，主要是回归坐标点，文章还是看出早起深度网络的一些些小trick

4.1坐标归一化

最后要把坐标反映射到原来的图上

最后计算坐标的损失的时候运用的是为normalize的坐标上计算损失

4.2级联的坐标回归器

因为输入过小，所以没有办法捕捉很多细节信息，盲目增加输入大小又会造成参数量的大量增加，所以作者设计级联的坐标回归器，级联的坐标回归器预测坐标的偏差，所以之后的每个阶段都是对前面阶段的refine.所有的阶段结构相同，参数不共享。

阶段1：此时b是正负图像

阶段2：

后来的每个阶段都是对part进行回归，在相应的part的地方选取一个patch，中心点由上一个决定，但是框的大小是固定的

4.3 数据扩增：最看重的

在每个阶段，计算yi(s-1)和gt的y之间的偏差，随机采样让yi(s-1)加上这个采样值，作为新的bounding box的中心点，作为数据扩增的方式，patch半径还是不变的