3D人体重建从单张图中-DeepHuman: 3D Human Reconstruction from a Single Image

最新推荐文章于 2024-09-16 07:05:43 发布
最新推荐文章于 2024-09-16 07:05:43 发布
阅读量5.1k 收藏 8
点赞数 2
分类专栏： 三维重建 文章标签： paper 三维重建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSS360/article/details/99675069
版权

论文链接：http://www.liuyebin.com/deephuman/assets/DeepHuman.pdf

摘要

        我们提出深度人体，一个图像导向立体到立体的转换CNN对3D人体重建从一个单张RGB图像。为减少干扰涉及在表面几何重建，即使对不可见的区域也可以进行重建，我们提出和利用一个稠密的语义展示形成从SMPL模型作为一个外部的输入。一个关键特征在我们的网络融合不同尺度的图像特征进入3D空间通过立体特征转换，来帮助恢复精确表面几何。这可见表面细节较进一步重构通过一个正向重建网络，它能够被连接使用立体生成网络使用我们的提出的立体几何正投影层。我们也提供了THuman，一个3D真实世界的人体模型数据集，包含7000个模型。这个网络被训练使用训练数据形成从数据集中。总之，由于特定设计我们的设计和多样的数据集，我们的方法能够对3D人体模型评估，只需要给定单张图像和具有较好的性能。

给定单张图输入人体重建结果

系统结构

网络主要组成包括一个图像特征编码（橙色），立体到立体转换网络（蓝色&绿色），正向投影网络（黄色）。

不同方法结果对比

更多《计算机视觉与图形学》知识，可关注下方公众号：
在这里插入图片描述

元宇宙MetaAI
关注
专栏目录
51-47 CVPR 2024 | DynVideo-E：利用动态NeRF对大规模运动和视角变化的视频编辑
AIgraphX
04-29 1047
DynVideo-E框架首次引入动态NeRF作为视频表示，通过人体姿态引导将视频信息聚合到3D背景空间和3D动态人体空间中，进而能对大规模运动、视图变化和以人为中心的视频进行编辑。
CVPR2023：IDEA与清华提出首个一阶段3D全身人体网格重建算法，代码开源！
jacke121的专栏
04-10 3466
CVPR2023：IDEA与清华提出首个一阶段3D全身人体网格重建算法，代码开源！
从单张图重建三维人体模型综述（三）
CSS360的博客
11-02 1095
《Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People》 我们提出了一种新的方法，以提高从一个单一图像三维重建服装人体形状的精度。最近的工作引入了体积、隐式和基于模型的形状学习框架，用于从一个或多个图像重建对象和人。然而，由于服装、头发、身体大小、姿势和相机视点导致形状的巨大变化，服装人体重建的准确性和完整性受到限制。本文介绍了克服这一局限性的两项进展：一是新的真实服装人合成数据集3
从单张图重建三维人体模型综述（二）
CSS360的博客
11-01 821
《3D Human Body Reconstruction from a Single Image via Volumetric Regression》 本文提出使用端到端卷积神经网络通过体积回归直接重建人体的三维几何结构。所提出的方法不需要拟合形状模型，并且可以从各种输入类型（无论是标记点、图像还是分割模板）进行训练。此外，不可见的部分，无论是自遮挡的还是其他的，仍然被重建，这与深度图回归不同。我们提出的结果表明，我们的方法可以处理姿态变化和详细的重建给定适当的数据集的训练。 《Combining Imp
单视图重建项目指南：DLR-RM/SingleViewReconstruction
最新发布
gitblog_01005的博客
09-16 423
单视图重建项目指南：DLR-RM/SingleViewReconstruction SingleViewReconstruction Official Code: 3D Scene Reconstruction from a Single Viewport ...
从单张图重建三维人体模型综述（四）
CSS360的博客
11-03 952
《Temporal Consistency Loss for High Resolution Textured and Clothed 3D Human Reconstruction from Monocular Video》 我们提出了一种从单目视频来学习时间一致的三维重建人衣服的新方法。使用体积、隐式或参数化人体形状模型从单目视频进行三维人体重建的最新方法产生每帧重建，在应用于视频时，会产生时间不一致的输出和有限的性能。在本文中，我们介绍了一种从单目视频中学习时间一致性特征的方法，该方法通过提出两个改进
DeepHuman:从单一图像中3D人体重建
一只大憨憨的博客
01-11 3686
摘要：我们提出DeepHuman，一种图像引导的体到体转换CNN，用于从单一的RGB图像进行3D人体重建。为了减少与表面几何重建相关的模糊性，甚至对于不可见区域的重建，我们提出并利用从SMPL模型生成的密集语义表示作为额外的输入。我们的网络的一个关键特征是通过体积特征变换将不同尺度的图像特征融合到三维空间中，这有助于恢复精确的表面几何。可见表面细节通过常规精细网络进一步细化，该网络可以使用我们提出的体积法向投影层与体积生成网络连接。我们还提供了一个包含约7000个模型的三维真实人类模型数据集——THuman
探索DeepHuman：构建3D人体模型的技术利器
gitblog_00002的博客
04-26 390
探索DeepHuman：构建3D人体模型的技术利器 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个开源项目，旨在通过深度学习技术帮助用户创建精准、逼真的三维人体模型。它由郑泽榕开发并维护，提供了一种创新的方法来处理计算机视觉中的人体建模问题，让艺术家、开发者和科研人员都能轻松生成高质量的3D人物。 技术分析 DeepHuman的核心是基于深度学习的网络架构，它能...
3D Human相关研究总结：人体、姿态估计、人体重建等
热门推荐
Paper weekly
03-01 1万+
©PaperWeekly 原创 ·作者｜张莹单位｜腾讯本文简要介绍与 3D 数字人相关的研究，包括常用 3D 表示、常用 3D 人体模型、3D 人体姿态估计，带衣服 3D 人体重建，3D...
论文学习笔记：《DenseBody: Directly Regressing Dense 3D Human Pose and Shape From a Single Color Image》
wangyc1208的博客
05-16 2406
目标： 从单张彩色图像直接回归出3D人体的姿态和形状。 —————————————————————————————————————— 亮点： 之前的工作都是先根据图像生成中间结果（比如人体分割、2D/3D关节点、轮廓… ），再通过网络得到shape和pose。 这篇文章用CNN直接从单张图回归出了3D人体网格。 —————————————————————————————————————— 相关工作...
GCN-based IntagHand: A Novel Approach for Single-Image Dual-Hand Reconstruction
Interacting Attention Graph for Single Image Two-Hand ReconstructionMengcheng Li1, Liang An1, Hongwen Zhang1, Lianpeng Wu2, Feng Chen1, Tao Yu1, Yebin Liu11Tsinghua University2Hisense Inc....
从单个“野外”图像中重建3D人类舌头
Recently, 3D face reconstruction from single “in-the-wild” images has been a very active topic in Computer Vi-sion with applications ranging from realistic 3D avatar cre-ation to image imputation ...
web前端3d环形图
02-02
3d环形图可以用鼠标拖拽 把里面的事件改了可以在手机上拖拽
3D Face Reconstruction from a Single Image
jinxinsummer的博客
10-25 2385
学习，诺丁汉大学和金斯顿大学的一队AI专家，最近的一个新研究成果：使用机器学习算法，只需要一张人脸照片，就能生成3D人脸。 怎么做到的？其实背后是一个卷积神经网络，研究人员把大量人脸数据喂给这个网络进行训练，最终这个AI学会了从照片脑补出3D人脸。 Demo 想尝试一下的朋友，可以赶紧前往下面这个网址： http://cs.nott.ac.uk/~psxasj/3dme/ 论文 这
3D Human Body Reconstruction from a Single Image via Volumetric Regression笔记
weixin_44728640的博客
12-05 2212
3D Human Body Reconstruction from a Single Image via Volumetric Regression （基于体积回归的单幅图像三维人体重建） Abstract 本文提出了一种端到端的卷积神经网络，通过体积回归直接重建人体的三维几何形状。该方法不需要拟合形状模型，并且可以从各种输入类型进行训练，无论是地标、图像还是分割掩码。此外，不可见部分，无论是自遮挡的还是其他的，仍然被重建，这与深度图回归的情况不同。实验结果表明，在给定合适的训练数据集的情况下，我们的方法既
《GRN: Gated Relation Network to Enhance Convolutional Neural Network for Named Entity Recognition》
qq_38244371的博客
05-24 2070
问题： 命名实体识别(NER)的主流方法大多采用RNN，如长短时记忆(LSTM)。然而，RNN以顺序方式处理句子。 这可能导致当前时间步骤的计算高度依赖于先前时间步骤的计算。 RNN的这种固有顺序性质使他们无法在训练示例上充分利用GPU并行性，因此可能导致更高的训练和测试时间成本。 与RNN不同，卷积神经网络（CNN）可以前馈方式处理所有单词，而不是逐句地在每个单词上构成表示。然而，...
由人脸图片重建出三维人脸网格
浪迹天涯
07-28 9561
预备知识。 人脸的参数化模型 V(α)=As平均人脸+∑iαi形状系数Es,i形状主元V(α)=As⏟平均人脸+∑iαi⏟形状系数Es,i⏟形状主元 V(\alpha)=\underbrace{A_{s}}_{\text{平均人脸}} + \sum_{i} \underbrace{\alpha_{i}}_{\text{形状系数}} \underbrace{E_{s,i}...
人体3D重建-ICON论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
04-17 5092
ICON基于RGB图像进行鲁棒的穿衣人体3D重建
ICON: 从单张图片重建穿衣服人体模型
3D视觉工坊
12-23 3449
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨人脸人体重建来源丨人脸人体重建马普所最新文章，穿衣服人体重建新方法 ICON (Implicit Clothed humans ...
Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach主要内容
07-15
《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文的主要内容是介绍了一种基于单个图像的准确三维人脸重建方法，其采用了一种全面的方法来捕捉人脸的几何形状和纹理信息。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值