Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
题目：《基于多视图几何学对三维人体姿态的自监督学习》
作者：
来源：CVPR 2019
研究内容:
训练过程：多视图-单人-自监督
推理过程：单视图
现有问题与技术：
1.现有问题
精确的3D HPE需要大量精确的3D GT数据）（对尺寸、多样性受限）、2D GT数据、标签和相机参数，但是获得这些相机参数
2.现有技术
（1）单视图（在训练和推理过程都是单视图）
①CNN:直接从图像估计3D坐标（一阶段法）
②估计2D Pose并将其提升至3D 空间（二阶段法）
（2）多视图（在训练和推理过程都是多视图）
用DNN模拟多视图输入与全3D监督；基于弱/自监督的3D HPE；使用图模型结构将多图图像的关键点热图获得全局姿态配置产生2D热图
本文论点：
（1）提出：
①提出弱/自监督以解决现有问题，提出EpipolarPose,其目的：在3D上使用最少的弱监督来获得3D姿态估计
②提出新的测量评估PSS(姿态结构得分)，一种新的性能度量，解决姿态结构合理性的问题。原因：MPJPE是独立处理每个关节误差，但不同的姿态可能产生相同的MPJPE(如图)，由此提出对姿态结构敏感的PSS.
（2）创新点
①EpipolarPose结构：无3D监督（即不需要3D GT）+不需要相机参数，在训练时从多视图图像估计2D姿态，利用对极几何[1] ，得到3D姿态和相机几何，通过自监督，训练3D姿态估计器。
②姿态结构得分PSS。
网络结构
EpipolarPose在训练过程中为多视图，推理过程为单视图
摄像机之间：基线[2] 小的两两一组(Ii,Ii+1)
①用2D Pose生成3D Pose（V）分为以下两种情况：
◉有摄像机外参时，通过针孔图像投影模型描述：
◉没有摄像机外参，以体关节为校准目标（本文中使用标准化姿态，因此不考虑比例）
方法：假设第一个摄像机为坐标系中心，则其旋转外部参数R为恒等式，在图像（Ii，Ii+1）中找到对应的相同关节j用RANSAC算法[3] （随机抽样一致算法），找到满足UiFUi+1=0的F，根据得到的F，在E=KTFK(K为相机内部参数，焦距、光心等)得到E，使用奇异值分解（SVD）E得到四种可能的3D坐标，最后通过手性检查[4] ，在四种分解中找到一组正确的假设。
②对于以上两种获得的3D姿态，对于被遮挡的关节使用三角剖分对3D点进行三角测量得到3D姿态（V），从而得到3D点。
细化单元（RU）:对于2D姿态向3D姿态映射，引入细化单元RU，从MoCap数据集中获得多视图片段，无标签。RU架构：（2个计算模型+批归一化+leaky ReLu+Dropout层），其中使用残差连接，得到更为可靠的3D Pose。（此部分为可选的扩展部分，以便实现更好的结果）
③推理部分：输入图像Ii通过姿态估计网络得到3D体积热图 ，通过softmax函数估计出3D POSE( )
性能度量：PSS(姿态结构得分)
（1）特点：对于姿态结构误差敏感，计算尺度不变的性能得分（对符合事实的合理性评估）
（2）计算方式：
将GT集合qi，标准化为
，预测结果为pi，使用K-means无监督聚类模拟GT分布Uk，之后
计算m-PSS：结构正确姿态百分比（越高越好）
本文使用随机初始化不同的K-means，生成不同姿态估计模型的m-PSS，而最终得到的值变换很小，证明了模型的稳定性。
数据集：
（1）Human 3.6M数据集：
用于定量和定性估计，包含2D-3D直接的对应关系，11个演员，4个摄像头，15个日常活动。
（2）MPI-INF-3DHP数据集
用于证明模型适用性，室内+室外的数据集
评价性能：PCK;PSS;MPJPE;PMPJPE（对齐平均每个关节误差）
1094
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
