![](https://img-blog.csdnimg.cn/b1ac34fb795f4d41b0f61cc204b3458d.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NeRF
文章平均质量分 92
NeRF和NeRF变种介绍
ACxz
共同努力、进步、开冲
展开
-
SadTalker 学习笔记
通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。也就是说,不自然的头部运动、扭曲的表情和身份修改。我们认为,这些问题主要是因为oflearning从耦合的二维运动场。另一方面,明确地使用3D信息也遭受僵硬的表达和不连贯的视频的问题。我们提出了SadTalker,它产生的3D运动系数(头部姿势,表达)的3DMM从音频和隐式调制一个新的3D感知的面部渲染说话的头部生成。为了学习真实的运动系数,我们明确地建模音频和不同类型的运动系数之间的连接。原创 2023-05-29 12:47:34 · 1780 阅读 · 3 评论 -
Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis 笔记
动态nerf——DFRF笔记原创 2023-04-24 16:48:31 · 1077 阅读 · 1 评论 -
Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition学习笔记
Radnerf学习笔记;动态nerf;语音驱动数字人;原创 2023-04-13 16:42:15 · 678 阅读 · 3 评论 -
FreeNeRF Improving Few-shot Neural Rendering with Free Frequency Regularization
freenerf学习笔记原创 2023-04-04 15:04:44 · 1366 阅读 · 0 评论 -
DREAMFUSION TEXT-TO-3D USING 2D DIFFUSION 论文笔记
stable diffusion+nerf原创 2023-03-28 21:27:54 · 2473 阅读 · 1 评论 -
Volsdf Sampling algorithm
volsdf 算法采样设计原创 2023-03-07 17:22:22 · 513 阅读 · 0 评论 -
NeuRay学习笔记
译文:提出了一种新的神经元表示方法,称为神经射线(NeuRay),用于新的视图合成任务。近年来的研究工作利用输入视图的图像特征构造辐射场来绘制新的视图图像,从而实现对新场景的泛化。然而,由于遮挡,3D点对于某些输入视图可能不可见。在这样的3D点上,这些泛化方法将包括来自不可见视图的不一致图像特征,这干扰辐射场构造。为了解决这个问题,我们预测了NeuRay表示中3D点对输入视图的可见性。这种可见性使得辐射场构造能够集中在可见图像特征上,这显著提高了其渲染质量。原创 2023-01-17 21:17:42 · 593 阅读 · 0 评论 -
MonoSDF学习笔记
主页:https://niujinshuchong.github.io/monosdf/论文:https://arxiv.org/pdf/2206.00665.pdfCode:https://github.com/autonomousvision/monosdf效果:我们使用通用预训练网络预测的单目几何线索来指导神经隐式曲面模型的优化。更具体地说,对于一批射线,我们将渲染预测的RGB颜色、深度和法线,并优化关于输入RGB图像和单眼几何线索。进一步,我们研究了神经隐式架构的不同设计选择,并提供了深入的分原创 2022-12-06 10:04:28 · 2200 阅读 · 0 评论 -
NeRF-SLAM 学习笔记
译文:提出了一种新的几何和光度3D mapping pipeline,用于从单目图像中精确和实时地重建场景。为了实现这一点,我们利用了密集单目SLAM和实时分层体积神经辐射场的最新进展。我们的见解是,密集单眼SLAM通过提供精确的姿势估计和具有相关不确定性的深度图,提供了正确的信息来实时拟合场景的神经辐射场。通过我们提出的基于不确定性的深度损失,我们不仅获得了良好的光度精度,而且获得了很高的几何精度。原创 2022-11-26 18:50:54 · 2126 阅读 · 0 评论 -
IDR 学习笔记
译文:在这项工作中,我们解决了多视图3D表面重建的挑战性问题。我们引入了一种神经网络体系结构,该体系结构同时学习未知的几何形状,相机参数以及神经渲染器,该神经渲染器近似从表面向相机反射的光。几何图形表示为神经网络的零级别集,而从渲染方程导出的神经渲染器能够 (隐式) 对各种照明条件和材料进行建模。我们在DTU MVS数据集中的具有不同材料特性,照明条件和嘈杂相机初始化的对象的真实2D图像上训练了我们的网络。我们发现我们的模型可以产生具有高保真度,分辨率和细节的最先进的3D表面重建。原创 2022-11-17 20:54:54 · 2699 阅读 · 0 评论 -
LOLNeRF笔记
译文:我们提出了一种基于神经辐射场学习生成 3D 模型的方法,该模型仅从具有每个对象的单个视图的数据中进行训练。虽然生成逼真的图像不再是一项艰巨的任务,但生成相应的 3D 结构以便它们可以从不同的视图进行渲染并非易事。我们表明,与现有方法不同,不需要多视图数据来实现这一目标。具体来说,我们表明,通过使用以共享潜在空间为条件的单个网络重建许多与近似规范姿势对齐的图像,您可以学习一个辐射场空间,该空间对一类对象的形状和外观进行建模。原创 2022-10-11 18:33:59 · 1247 阅读 · 3 评论 -
NeRF_pytorch学习
NeRF学习原创 2022-09-07 20:05:02 · 993 阅读 · 2 评论 -
Mega-Nerf学习笔记
译文:我们使用神经辐射场 (nerf) 从大规模的视觉捕获中构建交互式3D环境,这些捕获跨越建筑物,甚至是主要从无人机收集的多个城市街区。与单个对象场景 (传统上对nerf进行评估) 相反,我们的规模提出了多个挑战,包括 (1) 需要对具有不同照明条件的数千个图像进行建模,每个图像仅捕获场景的一小部分,(2) 令人望而却步的大模型容量,使其无法在单个GPU上进行训练,并且 (3) 快速渲染将实现交互式飞行的重大挑战。原创 2022-10-30 17:14:04 · 4220 阅读 · 4 评论 -
GIRAFFE学习笔记
主页:https://m-niemeyer.github.io/project-pages/giraffe/index.html论文:https://www.cvlibs.net/publications/Niemeyer2021CVPR.pdf代码:https://github.com/autonomousvision/giraffe我们的主要想法是将合成 3D 场景表示合并到生成器模型中:更具体地说,在每个前向传递中,我们对场景中的对象以及背景中的各个潜在代码进行采样。这些为我们提供了规范空间中的原创 2022-11-06 13:43:03 · 688 阅读 · 0 评论 -
神经辐射场 (NeRF) 概念
NeRF模型以其基本形式将三维场景表示为由神经网络近似的辐射场。辐射场描述了场景中每个点和每个观看方向的颜色和体积密度。F(x,θ,φ)→(c,σ),(1)其中x=(x,y,z)是场景内坐标,(θ,φ)表示方位角和极视角,c=(r,g,b)表示颜色,σ表示体积密度。该5D函数由一个或多个多层预加速器 (MLP) 近似,有时表示为f Θ。两个视角(θ,φ)通常由d=(dx,dy,dz)原创 2022-11-05 15:17:53 · 2822 阅读 · 2 评论 -
Neus学习笔记
主页:https://lingjie0206.github.io/papers/NeuS/论文:https://arxiv.org/abs/2106.10689代码:https://github.com/Totoro97/NeuS给定一组3D对象的摆姿势图像{Ik}\{I_k\}{Ik},我们的目标是重建其表面SSS。表面由神经隐式SDF的零级集表示。为了学习神经网络的权重,我们开发了一种新颖的体绘制方法,用于从隐式SDF渲染图像,并最小化渲染图像与输入图像之间的差异。这种体绘制方法可确保NeuS中的原创 2022-10-25 17:07:03 · 4280 阅读 · 0 评论