论文阅读练习(12)

《3D human pose estimation in video with temporal convolutions and semi-supervised training》(2018)

摘要

此工作中构建了视频 的3Dpose,可以有效的用一个基于带洞时序卷积的全卷积模型在2D关键点上有效估计3Dpose。同时引进back-projection,一个简单有效的半监督训练方法,不用标签视频数据。首先对无标签数据预测2Dkeypoints,然后估计3Dpose,最后back-project到输入的2Dkeypoints上。在监督数据集上,全卷积模型表现出最好结果,在Human3.6M上平均joint位置误差6mm,降低误差11%。code:https://github.com/facebookresearch/VideoPose3D

问题:从2Dkeypoints估计视频的3Dpose

方法:基于带洞时序全卷集模型和back-projection。

 

效果:在监督数据集上,全卷积模型表现出最好结果,在Human3.6M上平均joint位置误差6mm,降低误差11%

 

《Learning Character-Agnostic Motion for Motion Retargeting in 2D》(2019ACM)

摘要:

分析人体运动是一个计算机视觉和图形学中一个很广的挑战的任务。动画中的应用,从一个performer到另一个的运动重定向。当人在三维空间中移动时,绝大多数人体动作都是使用视频拍摄的,需要2D倒3D的pose和camera重构,之前存在的重定向方法也许已经应用。这篇文章中,提出了一种重新定位视频捕获的方法,用于不同human performers间的运动,而不需要明确地重建3D姿势和/或相机参数。为了实现这个目的,学习直接从一个视频中提取high-level的隐藏动作表示,这个对skeleton几何和相机视角是不变的。核心思想:学习一个网络分解2Dpose的时序序列为三个部分:动作、skeleton、相机视角角度。提取到这些表示后,可以重新组合动作和新的skeleton和相机视角,并解码一个重定向时序序列,与合成数据的GT比较。这个框架已经证明可以稳定捕捉视频中的动作,通过传递3D重构,应用于自然视频中优于现存重定向方法。

问题:从2Dpose学习实现动作重定向。

方法:学习分解2Dpose模型,然后重新组合。

效果:可以稳定捕捉视频中的动作,通过传递3D重构,应用于自然视频中优于现存重定向方法

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值