PhotoWakeUp —— 创新实训（1）

PhotoWakeUp —— 创新实训（1）

---

目录

PhotoWakeUp —— 创新实训（1）

具体工作：

遇到的问题：

cpm模型：

spml模型：

环境的安装：

源码阅读与修改

 

在本次创新实训的第一周时间里，在研读论文的基础上，主要完成了输入图片，通过cpm模型得到人体十四个主要节点的信息，处理后作为输入传递到spml模型中，并最终训练生成人物的3d模型。

---

具体工作：

1. 对cpm spml模型进行学习
2. 寻找相应模型，并理解模型的架构，搭建环境
3. 对模型的输出进行分析
4. 用自己的图片作为输入，建立cpm模型与spml模型之间的联系

---

遇到的问题：

1. 搜寻资料很困难，英文阅读也增加了难度
2. 环境的安装
3. 图片输入输出尺寸对应问题
4. cpm与spml之间的联系

---

人体姿势关键点估计目前有着很多方法，如CPM、DeeperCut、CMU OpenPose、 AlphaPose等，我们使用了论文中提到的cpm模型。

cpm模型：

论文地址：https://arxiv.org/abs/1602.00134

Convolutional Pose Machines（CPM）是一种2D人体（手势）姿态估计算法。输入是一张人体姿势图，输出n张热力图，代表n个关节的响应。这篇论文的主要贡献在于使用顺序化的卷积架构来表达空间信息和纹理信息。顺序化的卷积架构表现在网络分为多个阶段，每一个阶段都有监督训练的部分。前面的阶段使用原始图片作为输入，后面阶段使用之前阶段的特征图作为输入，主要是为了融合空间信息，纹理信息和中心约束。

论文中给出了较为清晰的framework，如下所示

 

 

可以看到核心是构建多个FCN网络来预测part/joint的heat maps并构成了cpm模型。有位大神总结的CPM的网络结构流程图如下：

 

• 在Stage1阶段ÿ