![](https://img-blog.csdnimg.cn/direct/aaa30f2b37a94d3f861524fd00abaa7e.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
三维重建【3D】
文章平均质量分 91
三维重建【3D】3D Gaussian Splatting,Diffusion Model,Nerf等等
旋转的油纸伞
中山大学,博客专家认证,人工智能领域优质创作者。
理想是造福全人类。
展开
-
快速方便地下载huggingface的模型库和数据集
使用方法:将hfd.sh拷贝过去,然后参考下面的参考命令,下载数据集或者模型。欢迎大家关注笔者,你的关注是我持续更博的最大动力。或克隆此存储库,然后授予脚本执行权限。这个代码不能保持目录结构,见下面的改进版。获取huggingface令牌,然后。中,这个命令行工具巧妙地利用。来处理 LFS 文件,并使用。为了方便起见,您可以创建一个别名。原创文章,转载告知,盗版必究。首先,下载 hfd.sh。原创 2024-07-30 11:31:51 · 460 阅读 · 0 评论 -
from pytorch3d import _C ImportError: libcudart.so.10.1: cannot open shared object file: No such fil
造成这种报错的原因,是因为在使用pip安装的时候,会下载编译好的pytorch3d进行安装,而这些事先编译好的pytorch3d安装包,在编译的时候,它的环境和你现在的环境并不一样,从而引发此种bug。例如,我使用了第二种方法。如果无法使用 git,请将网址复制到浏览器中,直接下载文件。pytorch3d表面安装十分简单,直接pip install pytorch3d就会显示安装成功。欢迎大家关注笔者,你的关注是我持续更博的最大动力。解决的方法,官方文档都已经为你写好了。原创文章,转载告知,盗版必究。原创 2024-07-11 11:11:06 · 504 阅读 · 0 评论 -
包成功安装tiny-cuda-nn,记录安装过程中的问题解决,附带pytorch3d安装【踩坑指南】
该包可以显著提高NeRF训练速度,是和NeRFstudio等框架中,必须使用的。本文提供tiny-cuda-nn可以安装的完整包的下载链接,可以直接上传到项目中安装。附带笔者遇到的问题的解决方案。原创 2024-07-10 19:58:59 · 1101 阅读 · 0 评论 -
【CVPR 2024】GART: Gaussian Articulated Template Models
【Paper】【Project】GART 利用移动的 3D 高斯混合模型来显式地近似可变形主体的几何形状和外观。它利用了具有可学习前向蒙皮的分类模板模型先验(如 SMPL、SMAL 等),同时通过引入新的潜在骨骼进一步推广到更复杂的非刚性变形。我们介绍了高斯关节模板模型(GART),这是一种显式、高效且富有表现力的表示方法,用于从单目视频中捕捉和渲染非刚性关节主体。GART 利用移动的 3D 高斯混合模型来显式地近似可变形主体的几何形状和外观。原创 2024-07-09 17:07:24 · 778 阅读 · 0 评论 -
【SMPL简介】SMPL: A Skinned Multi-Person Linear Model【源码复现】
SMPL是一种3D人体建模方法.在数字人或者人物角色三维重建领域有着广泛应用支持人体的各种形状及动作可以简单理解为通过训练获取的人物模型SMPL 输入是:姿态shape vectorβ\betaβ+ 影响动作Pose的参数θ\thetaθ输出是: 各种变化后vertex顶点的数据作者:Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.原创 2024-07-08 11:31:19 · 875 阅读 · 0 评论 -
pyrender 离线渲染包安装教程
Ubuntu 22.04.4 LTS有问题,安装不了llvm-6.0,暂时没找出解决方案,可以使用更低版本的Ubuntu或者用Dockers。Ubuntu 18.04 LTS没有问题!原创 2024-07-07 19:53:36 · 353 阅读 · 0 评论 -
【arxiv 2024.02】HumanSplat: Generalizable Single-Image Human Gaussian Splatting with Structure Priors
【Paper】【Project】尽管高保真人体重建技术最近取得了进展,但对密集捕获图像或耗时的每个实例优化的要求极大地阻碍了它们在更广泛场景中的应用。为了解决这些问题,我们提出了 HumanSplat,它可以以通用的方式从单个输入图像中预测任何人类的 3D 高斯 Splatting 属性。特别是,HumanSplat 包含一个 2D 多视图扩散模型和一个具有人体结构先验的潜在重建变压器,能够在统一框架内巧妙地集成几何先验和语义特征。原创 2024-07-04 15:46:21 · 646 阅读 · 0 评论 -
人体三维重建【文章汇总】Humans
PA-MPJPE则是在计算误差之前,首先对预测的姿态进行了最佳比例的刚体变换(包括旋转、平移和缩放),这一过程通常通过Procrustes分析实现,目的是为了消除全局旋转和平移的影响,以及可能的比例差异,从而更加专注于评估姿态结构本身的准确性。PCK指标计算的是被正确检测出的关键点数量占总关键点数量的百分比,这里的“正确检测”指的是预测的关键点位置与真实位置之间的距离小于或等于一个给定的误差阈值(通常以关节或者像素为单位)。:对每个关节的位置序列进行一阶微分,得到各个关节的速度随时间的变化情况。原创 2024-07-03 15:40:48 · 1322 阅读 · 0 评论 -
【CVPR 2024】HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion
从单个参考图像生成 3D 人体模型具有挑战性,因为它需要在不可见视图中推断纹理和几何形状,同时保持与参考图像的一致性。以前利用 3D 生成模型的方法受到 3D 训练数据可用性的限制。将文本到图像扩散模型提升到 3D 生成的基于优化的方法通常无法保留参考图像的纹理细节,从而导致不同视图中的外观不一致。在本文中,我们提出了 HumanRef,一种基于单视图输入的 3D 人体生成框架。原创 2024-07-03 15:12:33 · 1221 阅读 · 0 评论 -
【ECCV 2020 (oral)】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Authors【Paper】【Project】我们提出了一种方法,通过使用稀疏的输入视图集优化底层连续体积场景函数,实现合成复杂场景的新颖视图的最先进的结果。我们的算法使用全连接(非卷积)深度网络表示场景,其输入是单个连续 5D 坐标(空间位置xyz(x,y,z)xyz和观看方向θϕθϕ),其输出是该空间位置处的体积密度和与视图相关的发射辐射率。我们通过查询沿相机光线的 5D 坐标来合成视图,并使用经典的体积渲染技术将输出颜色和密度投影到图像中。原创 2024-07-01 22:27:45 · 840 阅读 · 1 评论 -
三维重建基础【知识点总结】
与传统光线追踪每次直接寻找最近的交点不同,体积光追迹是逐步推进的(marching),即光线不是直接射到物体表面停止,而是在进入体积区域后,按照固定的步长或者根据密度场调整步长逐步前进,同时累积沿途中与介质相互作用产生的颜色和透明度信息。与传统的光栅化或光线追踪技术不同,体积光追迹是专为处理具有体积的数据而设计的,它能够精确地模拟光线在不透明度连续变化的介质中的传播过程。每个关节的数据结构包含:关节名字、骨骼中其父节点的索引、关节的绑定姿势之逆变换(蒙皮网格顶点绑定至骨骼时,关节的位置、定向及缩放)原创 2024-07-01 17:30:54 · 1671 阅读 · 0 评论 -
【ACM_2023】3D Gaussian Splatting for Real-Time Radiance Field Rendering
【Project】引入了三个关键要素,能够在保持有竞争力的训练时间的同时实现最先进的视觉质量,并且重要的是允许以 1080p 分辨率进行高质量实时(≥ 30 fps)新颖的视图合成。首先,从相机校准期间产生的稀疏点开始,用 3D 高斯表示场景,保留连续体积辐射场的所需属性以进行场景优化,同时避免在空白空间中进行不必要的计算;其次,对 3D 高斯进行交错优化/密度控制,特别是优化各向异性协方差以实现场景的准确表示;第三,开发了一种快速可见性感知渲染算法,该算法支持各向异性泼溅,既加速训练又允许实时渲染。原创 2024-06-28 19:51:13 · 1634 阅读 · 4 评论