Progressively-connected Light Field Network for Efficient View Synthesis

论文链接

原文地址: Progressively-connected Light Field Network for Efficient View Synthesis

论文代码: 暂无

参考阅读: NeRF：用深度学习完成3D渲染任务的蹿红
参考阅读: NeRF论文笔记: 用于视图合成的神经辐射场技术
参考阅读; NeRF代码+逻辑详细分析

NeRF介绍

已知一组相机参数的输入图像, 目标是从这些图像中学习到一个神经光场(映射函数).

假如图像中每个像素对应的光线为 $r=(u,v,s,t)$ , 其中 $(u,v)$ 是近平面的点坐标, $(s,t)$ 是远平面的点坐标.

神经光场是一个函数 $LF:{\mathbb{R}}^4\to {\mathbb{R}}^3$ , 它将光线 $(u,v,s,t)$ 映射到 颜色 $(r,g,b)$ .

对 $LF$ 函数建模的一个简单的方法就是MLP多层感知机网络.

然而, 这样的设计容易对三维几何产生过拟合, 没有能力推广到新出现的视图, 效果如下:

为了使神经光场学习到多图一致的场景表示, 作者提出了基于点的神经光场, 渐进的训练方案 和 多视图一致性正则化方案.

1. 基于点的神经光场

在给定的光线 $r$ 上, 以预定义的深度值 { d 0 , d 1 , . . . , d D − 1 } \{d_0,d_1,...,d_{D-1}\} {d0​,d1​,...,dD−1​} 进行深度采样. 如图所示:

通过连接所有采样点 { x 0 , y 0 , x 1 , y 1 , . . . , x D − 1 , y D − 1 } \{x_0,y_0,x_1,y_1,...,x_{D-1},y_{D-1}\} {x0​,y0​,x1​,y1​,...,xD−1​,yD−1​} 的坐标, 来序列化表示光线 $r$ .

把序列化光线 $r$ 送入到多层感知机网络 $MLP:{\mathbb{R}}^{2D}\to {\mathbb{R}}^D\times {\mathbb{R}}^{3D}$ , 在一次前向传播中来预测每个采样点 $(x_i,y_i)$ 对应的密度 ${\sigma }_i$ 和 颜色 $c_i$ .

最后通过体积渲染(volume rendering), 累积所采样的D个点对应的密度 ${\sigma }_i$ 和 颜色 $c_i$ , 以计算原始光线处的点, 对应的密度 $\sigma$ 和 颜色 $C$ . 公式如下:
$$C=\sum _{i=0}^{D-1}{T}_i{\alpha }_i{c}_i$$
其中 $T_i$ 代表透射率, ${\alpha }_i$ 代表 alpha值(透明度), $c_i$ 代表该采样点处的颜色.
$$\begin{gathered} {\alpha }_i=1-exp(-{\delta }_i{\sigma }_i) \\ {T}_i=\prod _{j=0}^{i-1}(1-{\alpha }_j) \end{gathered}$$
其中 ${\delta }_i$ 代表两采样点 $i$ 和 $i+1$ 点之间的采样距离. ${\sigma }_i$ 代表采样点的密度, $a_j$ 代表采样点的透明度.

总结 : 与直接将光线映射到颜色的设计不同, 作者利用神经光场预测采样点的密度和颜色, 通过体积渲染计算得到最终的像素颜色.

• 该方案让网络利于去推断点之间的遮挡关系, 学习潜在的集合场景.
• 在 MLP里一次的 forward 就可以预测所有采样点的颜色和密度, 效率高.

代价: 三维点的颜色和密度不仅取决于自身坐标,还取决于同一光线上其他采样点的坐标纠缠. 当两条光线在一个三维点上相交时，神经光场可能会在两条光线上为该三维点分配完全不同的颜色和密度. 为了解决这个问题, 作者引入了渐进训练和多视图一致正则化.

2. 渐进训练策略

在训练开始时, 独立处理每个点, 以学习一致的几何场景. 之后在网络中添加连接来逐步提高网络的能力, 以获得更好的渲染质量.

具体为: 在训练开始时, 丢弃MLP网络中的部分神经元连接, 确保点 $(x_i,y_i)$ 的密度和颜色只取决于该点的坐标, 不予其它点的坐标纠缠. 这样使得一个点在不同的光线上具有同样的密度和颜色, 这为网络学习一致的几何场景提供了强烈的诱导偏差. 在随后的训练中, 逐步增加MLP中的连接以提高能力. 如图:

将训练分为 $k$ 个阶段,

• stage 0 : 只有特定深度点的坐标连接到自身的特征向量, 因此不会影响到其他深度的样本点的特征. 给定 $D$ 个深度的样本, 该架构可以被视为 $D$ 个独立的小网络, 处理不同深度的点以预测颜色和密度.
• stage 1 : 将两个相邻的子网拼接形成新的子网, 可以视为 $D/2$ 个独立的子网络, 每个子网络处理两个相邻采样点的坐标, 以生成这两个点的密度和颜色.
• …
• stage t : 只有一个包含 $d$ 个采样点的网络, 这个网络同时处理所有采样点, 以生成所有采样点的密度和颜色.

除了通过添加更多的神经元连接来增加网络能力, 还可以在采样中逐步添加更多的采样点.

3. 多视图一致性正则化

在整个训练过程中, 作者采用多视图一致性正则化来让网络学习潜在的几何场景.

密度一致性损失 : 三维点的密度是一个恒定值, 无论是在哪个发射光线上的. 但是后期训练点的密度会受到其他点的影响. 所以设置密度一致性损失进行约束.

为了计算损失, 我们定义了整个计算过程, 光线 $(u,v,s,t)$ 在深度为 $d_i$ 处的点 $p_i$ 的密度为 ${\sigma }_i$ . 其中 ${\sigma }_i=L_i(u,v,s,t)$ .

注意 $L_i$ 由两部分组成 :
(1) 光线 $(u,v,s,t)$ 上的预定义深度的采样点.
(2) 预测所有采样点的密度值.

在深度为 $d_i$ 处的密度一致性损失为:
$${\mathcal{L}}_{density}={\mathbb{E}}_{u,v,s,t,i}(\Vert \nabla L_i(u,v,s,t)\cdot p{\Vert }^2+\Vert \nabla L_i(u,v,s,t)\cdot q{\Vert }^2)$$
其中:
$$\begin{gathered} p=(d_i,0,-(1-d_i),0{)}^{\top } \\ q=(0,d_i,0,-(1-d_i){)}^{\top } \end{gathered}$$

这种损失的本质是:
(1) 与点 $p_i$ 相交的所有光线在 $(u,v,s,t)$ 中形成了2D流形.
(2) $(p,q)$ 是在该点上跨越该流形的切空间的基.
(3) 我们最小化梯度 $\nabla L_i$ 在这个切空间中的投影. 理想情况下, 该点的密度对于与该点相交的所有都是相同的, 所以投影应为0.

颜色一致性损失 : 同样的, 与同一点相交的光线的渲染颜色也应该具有一致性. 通过以下的方式表示神经辐射场的整个渲染过程. 其中: $C=LF(u,v,s,t)$ .

计算颜色一致性损失为 :
$${\mathcal{L}}_{color}={\mathbb{E}}_{u,v,s,t}(\mathcal{R}(\nabla LF(u,v,s,t)\cdot p)+\mathcal{R}(\nabla LF(u,v,s,t)\cdot q))$$
其中:
$$\begin{gathered} p=(\hat{d},0,-(1-\hat{d}),0{)}^{\top } \\ q=(0,\hat{d},0,-(1-\hat{d}){)}^{\top } \\ \hat{d}=\sum _i{T}_i{\alpha }_i{d}_i \end{gathered}$$

这里 $T_i$ 和 ${\alpha }_i$ 是透射率和透明度. $\hat{d}$ 是可见表面的预测深度, $\mathcal{R}$ 为平滑的 $L_1$ 损失, 以降低遮挡边界上对异常值的敏感性.

颜色一致性的本质是 : 计算深度为 $\hat{d}$ 处的切线空间基 $(p,q)$ , 并最小化这个空间基上 $\nabla LF$ 的梯度.

总结 : 训练神经辐射场的总体损失为:
$$\mathcal{L}={\mathcal{L}}_{render}+{\lambda }_{density}{\mathcal{L}}_{density}+{\lambda }_{color}{\mathcal{L}}_{color}$$
其中:
$$\begin{gathered} {\mathcal{L}}_{render}={\mathbb{E}}_{u,v,s,t,i}(\Vert C_{u,v,s,t}-C_{gt}{\Vert }_2^2 \\ {\lambda }_{density}=10^{-3},{\lambda }_{color}=10^{-2} \end{gathered}$$