文章目录
- 一、NeRF:Representing Scenes as Neural Radiance Fields for View Synthesis(推荐读)
- 二、经典的重建流程
- 三、NeuS:Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction(推荐读)
- 四、MeshUDF:Fast and Differentiable Meshing of Unsigned Distance Field Networks
- 五、NeuralUDF:Learning Unsigned Distance Fields for Multi-view Reconstruction of Surfaces with Arbitrary Topologies(推荐读)
- 六、3DGS:3D Gaussian Splatting for Real-Time Radiance Field Rendering
- 介于六和七之间:显隐式结合
- 七、GShell(推荐读)
- 八、陌生词汇整理
-
- 8.1 光栅化渲染(√)
- 8.2 IDR——隐式可微渲染器(√)
- 8.3 DVR渲染occupancy的(√)
- 8.4 stable normal(√)
- 8.5 instant ngp(√)
- 8.6 torch ngp(√)
- 8.7 marching cube(√)
- 8.8 神经网络是可微的,如果不可微,那么就会引入一个很大的误差——?(√)
- 8.9 正则项(√)
- 8.10 如果不加激活函数,那么多层感知机,其实就是一层——理论推理(√)
- 8.11 在NeRF里面有个不透明度的概念,这个概念转换到NeuS里面,网络表示SDF,把SDF到不透明度又加上了一个网络。这里是用了一个策略,把SDF转到不透明度再做积分——对于这句话的理解(√——按照NeRF理解就行)
- 8.12 什么是光追?——光线追踪?(√)
- 8.12 SDF和Occupancy什么区别?(√)
- 8.13 SDF——NeuS渲染、UDF——MeshUDF提取、Occupancy——DVR渲染(√)
- 8.14 nvdiffrast和nvdiffrecmc(√)
- 8.15 什么几何任务,什么是渲染任务(√)
- 8.16 因为一定要有渲染到2D,才能做端到端的优化——?(√)
- 8.17 DMTet和neural defer shading(√)
- 8.18 artifacts-伪影(√)
- 8.19 3d的体和球面的流形——GShell是把mSDF定义在了体中,而不是球面上(√)
- 九、感悟
一、NeRF:Representing Scenes as Neural Radiance Fields for View Synthesis(推荐读)
1.1 式1 神经网络的输入和输出
输入是5个参数,(x,y,z)的坐标的位置,其他两个是对于仰角和方位角,通过神经网络得出RGB和体素密度
体素密度只和空间位置有关,而颜色则与空间位置以及观察的视角有关
1.2 式2 体素渲染算法
r(t)就是射线:起点开始,以时间为改变量的距离,两者相加,将一条射线的原点标记为o,射线方向(即相机视角)标记为d,则可将射线表示为r(t)=o+td
所以c就是表示RGB,