nerf++简要笔记

nerf++和mlp nerf360都用于提升无界背景情况下的画面清晰度。

把世界分为前景和背景，前景部分就是中心物体，包在一个球面内，背景部分在球面外。nerf++有两个mlp，一个预测求内的前景，一个预测球外背景，训练时两个mlp共同优化。对于球内前景，采样和渲染过程和传统nerf完全一样，nerf++的主要工作在于对背景的渲染。

对于背景采样，nerf++采用逆球面重参数化，即坐标变换，将世界坐标系或相机坐标系下的坐标(x,y,z)映射为(x',y',z',1/r)。

 其中p点坐标为(x,y,z)，r为球体中心到采样点的直线距离。

对于1/r从0到1/R均匀取样，可以根据一定的公式计算出p点的位置和其变换后的坐标(x',y',z',1/r)。将这些采样点坐标连同方向d经过频率编码后放入频率mlp中可得到每个采样点的颜色c和体密度sigma.

在图像渲染时，可以分别根据积分公式算出前景和背景提供给像素点的颜色，然后根据下列公式组合两个颜色

其中(i)是前景颜色，(iii)是背景颜色，(ii)是背景不被前景遮挡的概率。