Point-NeRF Point-based Neural Radiance Fields

Point-NeRF: Point-based Neural Radiance Fields

基于点云的NeRF

[Point-NeRF: Point-based Neural Radiance Fields (pythonawesome.com)](https://pythonawesome.com/point-nerf-point-based-neural-radiance-fields/#:~:text=Point-NeRF uses neural 3D point clouds%2C with associated,scene surfaces%2C in a ray marching-based rendering pipeline.)

基于MVSNet,NeRF,MVSNeRF和NSVF、COLMAP

1.效果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y7Hes5JJ-1678066488355)(C:\Users\SongMingxin\AppData\Roaming\Typora\typora-user-images\image-20230304193110948.png)]

2.主要思想

针对NeRF的缺点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vzeghVnR-1678066488356)(C:\Users\SongMingxin\AppData\Roaming\Typora\typora-user-images\image-20230304193459803.png)]

3.相关工作

• 场景表达：点云、网格
• 多视角重建和渲染：splatting(抛雪球法)
• NeRF

4.场景表达

1. 体渲染与辐射场
2. 基于点的辐射场
3. 单个点的处理
4. 视角相关的颜色回归：
   • 逆距离误差
5. 体密度回归
   • 快速检索

5.重建

1. 生成初始的基于点的辐射场
2. 点特征
   • VGG，拼接
   • 视角信息
3. 端到端重建
   • 生成网络与表达网络同时训练

6.优化

1. 点云修剪
2. 点云扩展
   • 采样

7.实现细节

1. 预训练
   • DTU数据集
   • L2渲染误差
   • adam优化器
   • 能从3个输入视角中，耗时0.2s生成点云
2. 逐场景优化

8.实验结果

• DTU数据集上的实验
• Synthetic-NeRF数据集上的实验
• T&T
• ScanNet

9.消融实验

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EAzMdtPK-1678066488356)(C:\Users\SongMingxin\AppData\Roaming\Typora\typora-user-images\image-20230304195413224.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fEDVBeM2-1678066488356)(C:\Users\SongMingxin\AppData\Roaming\Typora\typora-user-images\image-20230304195334158.png)]

10.总结与展望

678066488356)]

[外链图片转存中…(img-fEDVBeM2-1678066488356)]

10.总结与展望

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Glb0TLFr-1678066488357)(C:\Users\SongMingxin\AppData\Roaming\Typora\typora-user-images\image-20230304195517546.png)]