论文阅读：MINE: Towards Continuous Depth MPI with NeRF for Novel View Synthes

中文标题：基于连续深度多平面和神经辐射场的新视角合成

论文目的通过3D重建的单视图新视角生成和深度估计，本文只介绍与NeRF原文不同的部分。

创新点

• 对单一图像进行密集三维重建，完成新视角合成与深度估计的工作。
• 从单个图像生成连续和遮挡绘制的三维重建。
• MINE借鉴NeRF可以生成连续的深度图像。

解决的问题

• 单目三维重建所导致的几何信息严重不足

背景知识

MPI(Multiplane Image)

• 一种将单目视野里的像素分配到不同深度的视平面的方法

提出的方法

平面神经辐射场的表示

• 在场景中取不同深度的平面$z\in [z_n,z_f]$，每一个平面包含RGB值$c_z$以及${\sigma }_z$
• 用$\zeta (\cdot )$表示从相机坐标系到世界坐标系的变换。

从源（相关）图像${\hat{I}}_{src}$渲染

• 输入$I_{src}与d_i=1/z_i$,输出$(c_{z_i},{\sigma }_{z_i})$，然后使用经典的体渲染公式可以得到：

这里是$i\to i+1$的距离。

• 我们的网络在训练过程中暴露于中的每个深度值，从而学习一个连续的$(c_{z_i},{\sigma }_{z_i})$

渲染新的目标${\hat{I}}_{tgt}$

用相机旋转 $R\in R^{3\times 3}$和平移$t\in R^3$渲染成一个新的视图，通过三个步骤实现：

1. 实施单应变化 $W(\cdot )$建立源坐标与目标坐标系之间的关系

• $n=[0,0,1{]}^T$是平行于源坐标系的平面方向向量

2. 体渲染需要体密度$\sigma$以及每个点沿射线之间的距离：
   

3. 最后，可以通过体渲染渲染出新视角。

   体积渲染依赖于每个位置的密度$\sigma$，以及沿着光线的每个点之间的距离。因此，我们可以计算：

网络和训练设计

• Encoder-Decoder 结构：整体与Monodepth2相似，区别在于解码器会输入视差值$d_i=1/z_i$, 输出4通道的$(c_{z_i},{\sigma }_{z_i})$。

损失函数

• 包括RGB L1损失，RGB SSIM损失，Smooth损失以及可选的稀疏视差损失。

参考文献

[1] Li J, Feng Z, She Q, et al. Mine: Towards continuous depth mpi with nerf for novel view synthesis[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 12578-12588.
[2] Richard Tucker and Noah Snavely. Single-view view synthesis with multiplane images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.