NeRF笔记

已于 2024-11-09 16:48:53 修改
阅读量208 收藏
点赞数 3
分类专栏： 图形学 文章标签： 笔记
于 2024-08-28 15:44:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35975367/article/details/141642386
版权

参考文章：
这个视频讲的非常非常详细：【较真系列】讲人话-NeRF全解（原理+代码+公式）

【三维重建】NeRF原理+代码讲解

NeRF详解

文章目录

大体定义

在这里插入图片描述

输入输出

前处理：图片->5D向量
后处理：4D->2D图片
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相机模型

在这里插入图片描述

体渲染

在这里插入图片描述

NeRF假设

物体是自发光的粒子
在这里插入图片描述

例子的采集

已知有粒子推到图片上：一个粒子沿着相机的方向打到图片上
在这里插入图片描述
现在由图片得到粒子
遮挡那么那个位置的透明度为0，导致后面所有采样点的颜色强度衰减为0了
一个像素就有一条射线，像素看作是这条射线上无数发光点的总和
在这里插入图片描述
从图片获得射线
蓝色是物理成像平面
红色是相机坐标系
在这里插入图片描述

粒子的采样–光线代码

在这里插入图片描述
在400 * 400的射线里选取了1024个射线，随机选择一些像素
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

回答关于输入输出的问题

在这里插入图片描述

在这里插入图片描述

模型结构

在这里插入图片描述
X=[x,y,z]，L=10，也就是sin10个，cos10个，所以x位置编码后就有20维度
颜色跟方向有关，密度跟方向无关，密度只与本身的位置有关系
观测方向不应当影响密度，但是会改变颜色

在这里插入图片描述
第五层会再加入(x,y,z)：256+63
倒数第二层会加入direction信息：256+27
在这里插入图片描述

Loss怎么算

自监督方式
在这里插入图片描述

如何将粒子颜色求和(体渲染-连续积分)

sigma(s)是在s点处的密度，模型得到的输出，密度越大，越容易被阻拦
C(s)在s点处的颜色，模型得到的输出
T(s)表示在s点之前光线没有被阻拦的概率
在这里插入图片描述

在这里插入图片描述
离散积分
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

回答输出的问题

在这里插入图片描述
重要性采样
通过密度进行二次采样
在这里插入图片描述
在这里插入图片描述
总结：通过粗模型输出得到一个概率，然后通过这个概率去重新在这条光线上进行采样，这个采样更符合物体的分布
一个像素对应的相机原点，两点连接起来的射线，采样，取64个粒子，根据64个粒子的密度来判断哪部分是有效区域，再进行重复采样，得到128个新的粒子，输入
在这里插入图片描述

推理

4是RGB和Sigma
在这里插入图片描述

总结

3D重建：CG中很多渲染方式通过神经网络或者机器学习去拟合，然后生成图片
在这里插入图片描述
在这里插入图片描述

NeRF学习笔记（NeRF、Mip-NeRF、Instant-NGP、NeRF++）
12-16
NeRF学习笔记（NeRF、Mip-NeRF、Instant-NGP、NeRF++）
NeRF系列论文阅读
fisherisfish的博客
12-01 576
这段话的核心含义是空间点的输入差异太小了，所以放大到高维空间，扩大它们之间的差异，从而使得重建结果能够区分很相近的点的差异，具体效果可以看实验结果图。数学上，它的颜色由下面的“体渲染公式”计算而出，其中C表示渲染出的像素点颜色，σ表示体素密度， r 和 d 分别表示camera ray上的距离和ray上的方向，r=o+dt， t表示在camera ray上采样点离相机光心的距离，T表示透射比，也叫光学厚度、介质透明度，c表示当前区域的粒子发光和内散射辐射强度，也就是表面的实际颜色。至于为什么是这样的？
NeRF入门知识汇总
Joselynzhao
03-04 9659
NeRF 在2020年ECCV上名声大噪，作为best paper展示（https://www.matthewtancik.com/nerf）
【论文精读】NeRF详解
热门推荐
YuhsiHu的博客
04-21 2万+
NeRF论文精读
当下呼声最高的NeRF究竟是什么？
qq_41524053的博客
11-01 4963
作为今年计算机视觉领域最火的AI技术，NeRF可谓是应用广泛，前景一片大好。
Nerf: 可用于多视角生成的场景表示
婷婷是信仰
01-10 8829
Nerf: 可用于多视角生成的场景表示 一、初代Nerf 《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》一文提出了一种基于光照模型隐式场表示的场景表示方法Nerf，用于生成一个场景的不同视角。 Nerf作为一种场表示，其输入是三维空间某个顶点的三维坐标以及视角方向，是一个5D的向量。其输出为该位置发射的光线颜色以及该点的体密度。该隐式场的函数表示为。考虑到空间中点的体密度应该独立于视角方向，首先将输入的三
Nerf笔记
To be a better man
12-25 103
NeRF详解-CSDN博客十分钟带你快速入门NeRF原理_哔哩哔哩_bilibili
nerf笔记
duoyasong5907的博客
02-02 426
nerf笔记
Keypoint NeRF 笔记
无
09-16 1216
Keypoint NeRF 笔记
读论文-NeRF学习笔记
lht0909的博客
10-27 1435
研读论文和学习记录nerf领域相关知识
[NeRF]学习笔记（持续更新中）
lovepope的博客
04-08 1330
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 最近NeRF热的不行，好多组都在沿着这个方向做各种尝试，为了能和这些算法的兄弟们交流，不至于听不懂他们在讲什么，所以决定花些时间认真搞搞懂。之前也是经常因为这个原因就去学习一些东西，但是都是自己看看就完了，没有认真整理过笔记，后来受一位大佬的影响，发现认真整理笔记不仅为了自己，也为了后续学习的人可以方便有疑问的地方可以参考，所以也决定留些公开的学习笔记，一.
[NeRF论文阅读笔记] mip-nerf
weixin_42262385的博客
11-03 1396
NeRF只在相机位置固定、分辨率与训练图像一致的新视角生成上表现较好。当拉近、拉远时（在多分辨率下观察场景），图像会产生锯齿以及模糊。Mip-NeRF针对这样的混叠问题作出了改进
【论文阅读笔记】Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
weixin_43357695的博客
01-04 3569
MipNeRF360是在NeRF++和MipNeRF的基础上进行的扩展，利用NeRF++提出的远景参数化技巧和MipNeRF的低通滤波思想同时实现了无界场景的高质量渲染与抗锯齿。现有方法在新视角合成方面取得了令人影响深刻的结果但是现有方案由于附近和远处物体的细节和比例不平衡导致模糊和低分辨率渲染场景参数化在线蒸馏和一种失真正则化来克服抗锯齿和无界场景渲染目标场景是相机围绕一个点旋转360度的场景，同时能够得到较低的误差和更好的渲染质量、更详细的深度图使用一种新颖的类卡尔曼场景参数化。
NERF论文笔记(1/2)
持之以恒
03-04 1774
辐射神经场NeRF论文原理总结，与原作者对话，原论文的精华浓缩，一句顶十句。
苍穹外卖学习笔记
2301_77599154的博客
03-21 1667
1).用户层本项目中在构建系统管理后台的前端页面，我们会用到H5、Vue.js、ElementUI、apache echarts(展示图表)等技术。而在构建移动端应用时，我们会使用到微信小程序2).网关层Nginx是一个服务器，主要用来作为Http服务器，部署静态资源，访问性能高。在Nginx中还有两个比较重要的作用： 反向代理和负载均衡， 在进行项目部署时，要实现Tomcat的负载均衡，就可以通过Nginx来实现。3).应用层。
python速通小笔记-------2.类和对象
2301_80374809的博客
03-22 580
类似c++中类的this指针可以看到，这是类内部定义的一个函数，参数必须要有self,而且访问类的内部成员时要带上 self.成员变量。
Linux Shell 基础操作笔记
最新发布
Tttian622的博客
03-25 286
涵盖了Linux Shell的基础操作，包括目录导航、文件操作、权限管理，以及Shell脚本编程的基本语法和常用功能。通过实践这些命令和脚本编写技巧，可以高效地进行Linux环境下的开发和系统管理任务。
《AI大模型开发笔记》企业RAG技术实战（二）
qq837993702的博客
03-23 876
接上一篇《AI大模型开发笔记》企业RAG技术实战（一）
网管软件Zabbix3.4.8 使用笔记 - 更改记录保留的时间 20250325
coldwind的专栏
03-25 202
对于已经应用到Zabbix中的Item项如何修改其数据保留的时间
nerf三维重建pyctorch
09-20
Nerf（神经辐射场）是一种在三维重建领域取得了相当突破的方法。最初的Nerf方法在2020年被提出，但其训练耗时长且不够稳定。随后，英伟达提出了Instant Nerf，其速度提高了1000多倍，只需几秒钟就能渲染出相应图片的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值