面向交互的无标记三维人体姿态估计研究

人体姿态表示方法

2、判别式方法
方法快，但是严重依赖训练集，对于训练集以外的姿态估计表现差；

扬长避短，使用判别式估计初始姿态，初始姿态的邻域内使用生成式方法对姿态进行优化。
深度学习框架下，三维人体姿态估计问题求解是人体每个关节点三维坐标或是参数化人体模型中参数。在一些方法训练学习中，也用到了生成式方法，人体模型投射到图像空间，利用图像特征与模型投影之间差距优化模型参数。
通过回归网络直接求解是参数化人体网格模型，使用了一个对抗网络作为姿态估计网络的弱监督器，利用3D人体扫描数据训练一个判别网络，判别姿态估计网络输出的姿态是否真实，对姿态估计结果有较好的提升效果。由于训练数据，对于某些姿态的识别准确度不高，恢复姿态比较自然，与真实姿态语义相近。多数据源的对抗网路监督，也可以判别姿态是否自然。
另一些工作，对人体姿态估计结果提升展开研究，从姿态估计中间结果提升到具有更丰富信息的姿态表现形式或是准确度和效率。

基于运动序列的人体姿态估计

三类：
1、对原始序列数据使用图像处理方法提取传统特征，利用这些特征作为模型输入或监督来估计姿态。
2、根据前一帧或者多帧结果计算当前帧姿态。
（1）一种情况是为运动序列建立过程状态转换模型或是轨迹模型
网格模型表示人体姿态，将每个网格顶点到平面的投影与真正成像范围的距离作为顶点的关联特征，通过关联特征确定顶点是否可见以及顶点与图像特征对应关系。
（2）优化求解时候将前一帧姿态当做当前帧初始化状态。
3、后处理方法。指的是当模型输出姿态估计结果后，根据前面多帧姿态结果对当前姿态微调整。

课题研究内容

1、构建神经网络模型，从动作捕捉数据集中重建出人体模型，合成不同人物动作下人体关键点和人体关节旋转对应的数据集，学习人体关键点和关节旋转角度之间的隐含先验关系；
2、提出了针对图像序列人体姿态估计方法。单帧图模型，然后帧间姿态变化估计方法
3、基于多视角人体数据融合方法建立实时交互人体姿态捕捉平台，通过捕捉表演者动作实时驱动虚拟角色。

人体关节旋转角度估计方法

SMPL模型，参数化人体网格模型，网格形变由形状参数和姿态参数两部分控制。
输入是形状参数，输出是姿态参数；

序列人体姿态估计方法

深度学习之前，是依靠人工构建的人体骨骼结构或关节运动特征，再从图像数据中提取相应特征匹配，获得姿态。
基于深度学习的人体姿态估计研究多数针对单帧图像进行。应用到视频，人体识别–裁切人体–姿态估计；容易受到包围框稳定性影响。
基于图像进行姿态估计的深度学习方法：
卷积神经网络提取图像特征，根据输出姿态形式构建回归模型。
这节—针对连续图像序列构造深度神经网络模型。
基于批次姿态差异的人体姿态估计网络，从静态图像恢复人体三维姿态，修改输入内容和训练方式，适应连续图像序列场景下人体三维姿态估计。

虚拟人交互系统设计与实现

人体姿态估计可以看作人体姿态跟踪问题；
虚拟角色通常用三维网格模型表示，模型中各顶点位置随时间变化形成了角色动画；制作角色动画时候，指定关键帧数据，非关键帧使用插值方法计算。
本节研究结合了深度相机Kinect，搭建了一套虚拟人动作控制系统，通过无标记点方法得到可以用于驱动不同角色形象的姿态数据，驱动虚拟角色做出动作。
坐标系配准：
标定Kinect深度相机外参数有两种方式。法一：张氏标定法，假设红外深度相机在生成红外图像与深度图像时坐标系完全重合，操作较为繁琐。
法二：为棋盘格设计具有深度特征的孔洞，从而用于标定深度相机，空洞边缘的点可能会丢失，精度有所损失。
姿态计算：
根据运动的连续性判断骨架左右；
最重要任务使得运动动作平滑。
角色动作：
处理两种模型不同的那些关节点。

未来工作

1、不同人体体型
2、视频序列估计，场景多样性未达到
3、虚拟人交互应该智能的，可以脱离用户进行一些自主交互。