MonoPerfCap: Human Performance Capture From Monocular Video

这里写目录标题

文章方法

从RGB视频序列中,使用普通的背景以克服概述的限制深度相机和多视图设置。是第一个处理从单目视频输入自动3D全人体性能捕捉的问题。我们的模板使用特定于角色的模板网格。在记录前,通过图像重建得到模板网格的变形,并使用运动骨架和中等尺度变形场进行参数化。根据这种形状表示,我们估计了输入视频中每一帧的actor的变形,使变形的模板与输入帧紧密匹配。由此产生的算法允许我们生成一个演员全身表演的时间上一致的表面表示。使用的是卷积神经网络二维判别联合预测作为地标,将3D骨架登记到图像中。我们利用第二个CNN来处理翻转的模糊性,这个CNN被训练成从单眼图像中返回三维关节位置。(存在第二个CNN主要是解决当2D投影正确的时候,对应的3D位置可能还是错的)。
为了从根源上解决3D识别不准确的问题,采用低维线性轨迹子空间约束三维位姿,在非刚性结构的情况下被证明是有效的。基于自动提取的轮廓图计算一个非刚性变形场,以捕获松散服装引起的非刚性表面变形,并将变形模板网格精确地覆盖到输入图像帧上。

总结贡献

1、首个人体3D捕捉方法依赖单目相机输入;
2、将鉴别二维和三维检测与基于批处理的运动优化相结合,解决了单目三维位姿估计固有的翻转歧义问题
3、利用自动提取的单眼轮廓恢复非刚性表面变形
4、由大约40k帧组成的基准数据集,涵盖了各种不同的场景。

三级目录

LSD-SLAM是一种大规模直接单目SLAM算法,它是在2013年由扬·恩格尔斯等人提出的。该算法的目标是实现在没有任何先验知识或环境特征的情况下,通过单个摄像头从连续的图像序列中建立和跟踪三维地图,并且能够同时确定相机的姿态。 LSD-SLAM的核心思想是利用摄像头的像素强度信息进行定位和建图,而不依赖于传统的特征点提取和匹配。它通过高斯金字塔和灰度差分技术来提取特征,并使用稀疏数据库存储和匹配这些特征,以实现实时的建图和定位。 在LSD-SLAM中,首先需要对图像进行预处理,包括降噪和创建高斯金字塔。然后,通过计算图像中相邻帧之间的灰度差分,得到特征点的深度信息。通过对这些深度信息进行尺度一致性检查和相机姿态估计,可以建立起相机的轨迹和三维地图。 LSD-SLAM的优点之一是其能够在大规模环境下进行建图,且对于纹理较弱的区域也能较好地定位。此外,LSD-SLAM还具有较低的计算复杂度,能够实时运行,适用于移动机器人、增强现实和无人驾驶等领域。 然而,LSD-SLAM也存在一些限制,如对于场景中出现大运动或快速变化的情况,其定位和建图的精度可能会下降。此外,它对于镜头畸变和光照变化也较为敏感。 总结来说,LSD-SLAM是一种利用单个摄像头进行大规模建图和定位的算法。它通过直接使用图像的像素强度信息,不依赖于传统特征点的提取和匹配。尽管LSD-SLAM具有优点和限制,但其在许多实际应用中具有潜在的价值和广阔的应用前景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值