Dual-Source Deep Neural Networks for Human Pose Estimation 论文总结

实质：

本文的姿态识别，实质就是预测出图像中关节的具体位置坐标。用到的FLIC数据集中的图片，需要预测的关节有10个，LSP有14个。

训练:

1，训练前的预处理（输入图像预处理）

 给出一张图片，整张图片作为 body patches ，记作Pb，然后采用多尺度滑动窗口（步长为 2像素）构建图像补丁 part patches，记作Pp，构建图像补丁Pp时，选择的对象方案尺寸要在一定的范围内，，本实验中，

是身体躯干两对立关节之间的距离，例如左肩和右臀之间的距离。并且，所有的关节都要被大小相同的Pp所覆盖。

  这个阶段中，采用的多尺度滑动窗口，因为它对整幅图都滑动，所以不会漏掉任何一个关节，但这种优势，会造成Pp的极大冗余。

横坐标表示14种关节，纵坐标表示每个关节平均覆盖的Pp数量。

  选出图像补丁Pp后，Pp的位置表示为，其中表示Pp的中心坐标，表示人体关节，L就是关节总数，然后对关节i进行归一化，映射到Pp的位置为

  

只有在时，才表示Pp中存在关节i。

2.DS-CNN结构

 

网络共8层，前5层卷积层，后3层全连接层，最后一个全连接层，输入到一个1000-way softmax。

 第一层C1：作用在输入图像上，96个卷积核，特征图大小为55*55。后面跟了max pooling ，进行降采样，也就是整合特征，将特征图长宽各减半。

第二层C2: 256个卷积核，特征图大小降为27*27.后面也跟了max pooling。

第三层C3: 384个卷积核，特征图大小降为13*13。

第四层C4：384个卷积核，特征图大小为13*13。

第五层C5： 256个卷积核，特征图大小为 13*13 。后面跟了max pooling 。

因为同时存在两个输入，两个输入都是同时进行训练，所以，在进入全连接层之前，要将两个卷积后的输入进行合并，也就是图中的CC层。CC层有512个卷积核，合并后的特征图大小为13*13。

第六层F6，第七层F7，第八层F8：都是全连接层，具有4096个神经元。全连接层中的神经元与前一层的所有神经元相连。

3.输出表示

  本实验中，有两个输入，那么自然也就存在两个输出，jointdetection

和 jointlocaliztion.

 

(1) joint detection

  这里，是怎么实现在Pb中对其选出的binary mask进行关节预测的呢？这里运用了热点图。

  首先为每个关节构建一个热点图Hi，在像素点x处的热点值为Hi(x)， 这个值反映了关节i在x处是否存在。具体实现为，对每组patch-pair P（b,p）,在Pp中所有像素点统一分配 joint detection 的可能性，式子表达就是：

 

其中，表示关节i在Pp中存在的可能性，那么就表示关节i比关节j存在Pp中的可能性大。然后加上所有统一分配的jointdetection 的可能性，，就得到了热点值。

根据热点值，在热点图中，用颜色的深浅，可以预测一个大致的关节位置。

 

(2) joint localiztion

为了找到精确的关节位置，需要从Pp中找到关节的具体坐标，前面提到过对关节i的归一化处理，可得到归一化后的坐标。可这只是理论上的位置坐标，实际上存在一定量的损失，所以，输出坐标只是一个跟理论接近的数值坐标。

姿态识别过程

得到输入组patch-pair P（b,p）两个图像补丁后，对Pp需要提取它的RGB值作为输入，Pb则需要额外的提取alpha值，也就是说，如果一个N*N的图像补丁，Pp输入的大小是3N^2，Pb输入的大小是4N^2。图像输入以后，就运行训练好的DS-CNN，得到jointdetection和 joint localiztion。预测关节位置坐标以后，就可以实现姿态识别。

 

（在训练DS-CNN时，既然可以根据Pp归一化位置坐标，最后得到 joint localiztion，为什么还有加上一个Pb，最后用热点图得到一个粗略的joint detection？因为光靠一个Pp，只能得到一个局部的特征，没用全局特征的定位，有时候不能确定关节的大概位置，比如，单单一张左手腕的Pp，没有Pb比较，无法知道那是左手腕还是右手腕）