Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
题目:《基于多视图几何学对三维人体姿态的自监督学习》
作者:
来源:CVPR 2019
研究内容:
训练过程:多视图-单人-自监督
推理过程:单视图
现有问题与技术:
1.现有问题
精确的3D HPE需要大量精确的3D GT数据)(对尺寸、多样性受限)、2D GT数据、标签和相机参数,但是获得这些相机参数
2.现有技术
(1)单视图(在训练和推理过程都是单视图)
①CNN:直接从图像估计3D坐标(一阶段法)
②估计2D Pose并将其提升至3D 空间(二阶段法)
(2)多视图(在训练和推理过程都是多视图)
用DNN模拟多视图输入与全3D监督;基于弱/自监督的3D HPE;使用图模型结构将多图图像的关键点热图获得全局姿态配置产生2D热图
本文论点:
(1)提出:
①提出弱/自监督以解决现有问题,提出EpipolarPose,其目的:在3D上使用最少的弱监督来获得3D姿态估计
②提出新的测量评估PSS(姿态结构得分),一种新的性能度量,解决姿态结构合理性的问题。原因:MPJPE是独立处理每个关节误差,但不同的姿态可能产生相同的MPJPE(如图),由此提出对姿态结构敏感的PSS.
(2)创新点
①EpipolarPose结构:无3D监督(即不需要3D GT)+不需要相机参数,在训练时从多视图图像估计2D姿态,利用对极几何[1] ,得到3D姿态和相机几何,通过自监督,训练3D姿态估计器。
②姿态结构得分PSS。
网络结构
EpipolarPose在训练过程中为多视图,推理过程为单视图
摄像机之间:基线[2] 小的两两一组(Ii,Ii+1)
①用2D Pose生成3D Pose(V)分为以下两种情况:
◉有摄像机外参时,通过针孔图像投影模型描述:
◉没有摄像机外参,以体关节为校准目标(本文中使用标准化姿态,因此不考虑比例)
方法:假设第一个摄像机为坐标系中心,则其旋转外部参数R为恒等式,在图像(Ii,Ii+1)中找到对应的相同关节j用RANSAC算法[3] (随机抽样一致算法),找到满足UiFUi+1=0的F,根据得到的F,在E=KTFK(K为相机内部参数,焦距、光心等)得到E,使用奇异值分解(SVD)E得到四种可能的3D坐标,最后通过手性检查[4] ,在四种分解中找到一组正确的假设。
②对于以上两种获得的3D姿态,对于被遮挡的关节使用三角剖分对3D点进行三角测量得到3D姿态(V),从而得到3D点。
细化单元(RU):对于2D姿态向3D姿态映射,引入细化单元RU,从MoCap数据集中获得多视图片段,无标签。RU架构:(2个计算模型+批归一化+leaky ReLu+Dropout层),其中使用残差连接,得到更为可靠的3D Pose。(此部分为可选的扩展部分,以便实现更好的结果)
③推理部分:输入图像Ii通过姿态估计网络得到3D体积热图 ,通过softmax函数估计出3D POSE( )
性能度量:PSS(姿态结构得分)
(1)特点:对于姿态结构误差敏感,计算尺度不变的性能得分(对符合事实的合理性评估)
(2)计算方式:
将GT集合qi,标准化为,预测结果为pi,使用K-means无监督聚类模拟GT分布Uk,之后
计算m-PSS:结构正确姿态百分比(越高越好)
本文使用随机初始化不同的K-means,生成不同姿态估计模型的m-PSS,而最终得到的值变换很小,证明了模型的稳定性。
数据集:
(1)Human 3.6M数据集:
用于定量和定性估计,包含2D-3D直接的对应关系,11个演员,4个摄像头,15个日常活动。
(2)MPI-INF-3DHP数据集
用于证明模型适用性,室内+室外的数据集
评价性能:PCK;PSS;MPJPE;PMPJPE(对齐平均每个关节误差)