面向反射场景的神经辐射场或其他有关总结

有关神经辐射场前沿的国外学者更新网站​​​​​​​Radiance Fields | Neural Radiance Fields (NeRFs) And 3D Gaussian Splatting (3DGS)

目录

1.Ref-NeRF

策略：使用IDE集成方向编码；计算表面反射方向作为输入；大型MLP

2.NeRFactor

策略：（distill）NeRF估计的体密度提取到表面几何

3.Neural Reflectance for Shape Recovery with Shadow Handling

策略：一个MLP预测了入射观测半角与法向量之间的方差bi，另一个MLP预测法向量n、镜面反射权重c、漫反射albedo ρd，还有一个MLP预测了深度，并使用深度计算阴影因子s（感觉可以类比NeRO里面的遮挡因子s）。

主要思路还是围绕微表面BRDF函数进行设计，加入阴影因子。

4.（非）MaterialGAN:

5.（非）Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow

策略：实时镜面反射流，通过语义分类添加语义标签图 

6.（非）Specular Flow and the Recovery of Surface Structure

ps。论文中有关于部分反射场景重建的历史和综述（截止2016年、且关注于流flow方法）

7.（非）On Joint Estimation of Pose, Geometry and svBRDF from a Handheld Scanner

8.（非）Specular-to-Diffuse Translation for Multi-View Reconstruction

ps。生成了一个大型合成训练数据集

9.ORCa:

策略：提出环境辐射场。先估计物体的SDF与漫反射辐射，之后设置虚拟相机点在物体内部，进行外部环境5D重建，最终结果是重建的场景在物体上的投影。

10.Reconstructing Scenes with Mirror and Glass Surfaces

11.PANDORA: Polarization-Aided Neural Decomposition of Radiance

策略：利用偏振图像，先sdf后分离漫反射镜面反射进行入射光估计。

12.Neural Point Catacaustics for Novel-View Synthesis of Reflections 

13.S3 -NeRF:

14.UniSDF:

策略：（哈希编码+SDF）将反射颜色与漫反射其他反射分开进行预测，再多一个两者权重预测的MLP。

15.（非专ref）BakedSDF:

策略：为每个网格顶点设置了一个漫反射颜色cd和一组球形高斯瓣。

ps。有讲述mip-nerf 360里propose MLP是什么。

16.VolSDF：

17.Nerd：

镜子倒影反光等场景:

机器人应用抓取反光玻璃或金属构件：

---

1.Ref-NeRF

时间：2021

项目地址：https://dorverbin.github.io/refnerf/

策略：使用IDE集成方向编码；计算表面反射方向作为输入；大型MLP

结果：

（Ref-NeRF的Shiny-blender数据集）

（NeRF的blender数据集）

2.NeRFactor

时间：2021

项目地址：https://xiuming.info/projects/nerfactor/​​​​​

一种将物体在未知光照条件下的图像分解为形状、反射率和光照的方法，从而支持自由视点重光照(有阴影)和材质编辑。 

策略：（distill）NeRF估计的体密度提取到表面几何

3.Neural Reflectance for Shape Recovery with Shadow Handling

时间：2022

论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Neural_Reflectance_for_Shape_Recovery_With_Shadow_Handling_CVPR_2022_paper.pdf

代码地址：https://github.com/junxuan-li/Neural-Reflectance-PS 

利用观测到的光度方差和表面阴影，恢复表面形状和一般非朗伯反射率。我们明确预测了投射阴影，减少了这些阴影区域可能出现的伪影，从而提高了估计精度。我们的框架是完全自监督的，因为它既不需要地面真实形状，也不需要 BRDF。 

策略：一个MLP预测了入射观测半角与法向量之间的方差bi，另一个MLP预测法向量n、镜面反射权重c、漫反射albedo ρd，还有一个MLP预测了深度，并使用深度计算阴影因子s（感觉可以类比NeRO里面的遮挡因子s）。

主要思路还是围绕微表面BRDF函数进行设计，加入阴影因子。

（but 设想的是各向同性）

结果使用的还是以自己的数据为主。

4.（非）MaterialGAN:

Reflectance Capture using a Generative SVBRDF Model

时间：2020

论文地址：https://arxiv.org/pdf/2010.00114.pdf

打搅了，这是GAN。

5.（非）Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow

时间：2020

论文地址：Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow | Proceedings of the ACM on Computer Graphics and Interactive Techniques

策略：实时镜面反射流，通过语义分类添加语义标签图 

6.（非）Specular Flow and the Recovery of Surface Structure

时间：2016

论文地址：Specular Flow and the Recovery of Surface Structure | IEEE Conference Publication | IEEE Xplore

ps。论文中有关于部分反射场景重建的历史和综述（截止2016年、且关注于流flow方法ÿ