从单张图重建三维人体模型综述(一)

两篇论文分别提出了DeepHuman和TetraTSDF方法,从单个RGB图像重建高精度三维人体模型。DeepHuman利用SMPL模型和体积特征变换来恢复精确几何,而TetraTSDF则通过四面体外壳体积截断符号距离函数实现紧凑且详细的3D形状重建。两者均展示了在处理复杂服装和细节方面的改进,并提供了新的数据集和端到端的网络结构。
摘要由CSDN通过智能技术生成

《DeepHuman: 3D Human Reconstruction from a Single Image》
我们提出了DeepHuman,一种用于从单个RGB图像重建三维人体的图像引导体积到体积的CNN。为了减少与曲面几何重建相关的歧义,甚至对于不可见区域的重建,我们提出并利用SMPL模型生成的密集语义表示作为额外输入。我们网络的一个关键特征是,它通过体积特征变换将不同比例的图像特征融合到三维空间中,这有助于恢复精确的曲面几何。可见表面细节通过法线细化网络进一步细化,该网络可以使用我们提出的体积法线投影层与体积生成网络连接。我们还提供了THuman,一个包含约7000个模型的3D真实世界人体模型数据集。总的来说,由于我们网络的特殊设计和数据集的多样性,我们的方法能够在仅给出一幅图像的情况下进行3D人体模型估计,并且优于最先进的方法。
在这里插入图片描述
《TetraTSDF: 3D human reconstruction from a single image with a tetrahedral》

由于模糊性,从二维外观恢复人的三维形状是不适定的。然而,借助卷积神经网络(CNN)和关于3D人体的先验知识,有可能克服这种模糊性,从单个图像恢复人体的详细3D形状。然而,目前的解决方案无法重建穿着宽松衣服的人的所有细节。这是因为(a)即使在现代GPU上也无法维持的巨大内存需求,或者(b)无法对所有细节进行编码的紧凑3D表示。在本文中,我们提出了人体的四面体外壳体积截断符号距离函数(TetraTSDF)模型,以及相应的用于三维人体形状回归的部分连接网络(PCN)。我们提出的模型紧凑、密集、准确,但非常适合基于CNN的回归任务。我们提出的PCN允许我们从单个图像以端到端的方式了解四面体体积中TSDF的分布。结果表明,我们提出的方法可以从单个RGB图像重建穿着宽松衣服的人的详细形状。
在这里插入图片描述
更多计算机视觉与图形学相关资料,请关注微信公众号:计算机视觉与图形学实战
在这里插入图片描述
论文下载请在公众号内回复:paper

如果您认为上面的内容对您有一定的价值,可以对我们进行小小的赞助,来支持我们的工作,因为后续打算构建自己的网站,谢谢:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值