【论文精读】NeRF中的数学公式推导

这篇文章用于记录NeRF论文中数学公式的推导过程。
论文里的第一个公式就很硬核，展示了相机射线的期望颜色的计算方法。
5D 神经辐射场将场景表示为空间中任意点的体积密度和定向发射的辐射。文章使用经典体积渲染的原理，来渲染任何穿过场景的光线的颜色。体积密度$\sigma (x)$可以解释为射线终止在位置 $x$ 处无穷小粒子的微分概率。而期望的颜色$C(r)$（相机光线$r(t)=o+td$，近处远处界限为$t_n$和$t_f$）可以被表示为：

这个结论来源于1995年Max的一篇文章Optical models for direct volume rendering，是体渲染的开山之作。这篇文章将光线模型分为三类，我们逐个看一看。

光线吸收模型

简单来说就是吸收它们拦截的所有光，却不散射或发射任何光。假设粒子是相同的球体，半径为 $r$，投影面积 $A=\pi r^2$，设 $\rho$ 为每单位体积的粒子数。这个模型的传递方程是

$$\frac{dI}{ds}=-\rho (s)AI(s)=-\tau (s)I(s)$$

其中$s$是沿光流方向的光线的长度，$I(s)$ 是距离 $s$ 处的光强度，$\rho$是光点密度。$\tau (s)=\rho (s)A$ 称为消光系数，反映了光被遮挡的速率。整理并且等式两边同时积分：
$$\frac{1}{I(s)}\frac{dI}{ds}=-\tau (s)$$
$${\int }_0^s\frac{1}{I(s)}dI={\int }_0^s-\tau (t)dt$$
$$ln\frac{I(s)}{I(0)}={\int }_0^t-\tau (t)dt$$

这个微分方程的解是：

$$I(s)=I_{0}exp(-{\int }_0^s\tau (t)dt)$$

其中，$I_0$是在$s=0$处的强度，而$T(s)=exp(-{\int }_0^s\tau (t)dt)$是介于$0$ 和 $s$ 之间的介质的透明度。在体渲染中，消光系数$\tau$通常称为不透明度。

光线发射模型

介质还可以通过外部照明的发射或反射来增加光线。
如果粒子是透明的，但以每单位投影面积的强度 C 发光，这个$I(s)$的微分方程为：

$$\frac{dI}{ds}=C(s)\rho (s)A=C(s)\tau (s)=g(s)$$

这个 $g(s)$被叫做源项。
我们把式子可以变为：

$$dI=g(s)ds$$

对两边进行积分：

$${\int }_0^{s}dI={\int }_0^{s}g(s)ds$$

这个方程的解是：

$$I(s)=I_0+{\int }_0^{s}g(t)dt$$

其中$I_0$ 是$s=0$ 处的光强度。

吸收发射模型

实际上，空间中的粒子会遮挡入射光，并添加自己的光。 因此，一个现实的微分方程应该包括源项$g(s)$和衰减项$I(s)$ 。我们只需要将前两种模型进行简单的数值加和（微分方程右侧加在一起），就可以得到这个模型的传递方程:

$$\frac{dI}{ds}=g(s)-\tau (s)I(s)$$

我们把$\tau (s)I(s)$移到等式左边，然后都乘上$exp({\int }_0^s\tau (t)dt)$，得到：

$$(\frac{dI}{ds}+\tau (s)I(s))exp({\int }_0^s\tau (t)dt)=g(s)exp({\int }_0^s\tau (t)dt)$$

也可以表示为：

$$\frac{d}{ds}(I(s)exp({\int }_0^s\tau (t)dt))=g(s)exp({\int }_0^s\tau (t)dt)$$

从volume边缘的$s=0$ 积分到眼睛的 $s=D$，我们得到：

$$I(D)exp({\int }_0^D\tau (t)dt)-I_0={\int }_0^D(g(s)exp({\int }_0^s\tau (t)dt))ds$$

把$I_0$移到等式右边，然后等式两边都乘上$exp(-{\int }_0^D\tau (t)dt)$，我们可以得到$I_D$：

$$I(D)=I_{0}exp(-{\int }_0^D\tau (t)dt)+{\int }_0^D(g(s)exp(-{\int }_s^D\tau (t)dt))ds$$

第一项表示来自背景的光，乘以空间的透明度。第二项是源项 $g(s)$ 在每个位置 $s$ 贡献的积分，乘以位置$s$到眼睛的透明度$T^{\prime }(s)=exp(-{\int }_s^D\tau (x)dx)$，那么：

$$I(D)=I_{0}T(D)+{\int }_0^{D}g(s)T^{\prime }(s)ds$$

等式右侧第一项代表着从坐标$0$点出发经过$0$到$D$的介质入射到摄像机的光强，称之为背景光，在NeRF中，这一项考虑为$0$。所以在NeRF中，这个式子化简为：
$$I(D)={\int }_0^{D}g(s)T^{\prime }(s)ds={\int }_0^D{T}^{\prime }(t)\tau (t)c(t)dt$$
其中$T^{\prime }(t)=exp(-{\int }_t^D\tau (x)dx)$。

转变为NeRF当中的形式

上面的式子和NeRF原文中仍然有差别，这是因为NeRF和Max的文章中使用的坐标不同。Max文章中的坐标是让相机在D坐标，而无穷远点在0坐标，这样前面的推导就是正确的。但是NeRF中的坐标，是让相机在坐标原点，无穷远坐标就是无穷远，这样就可以得到：

$$I(0)={\int }_0^{\infty }g(s)T^{\prime }(0,s)ds={\int }_0^{\infty }{T}^{\prime }(0,t)\tau (t)c(t)dt$$

其中$T^{\prime }(0,t)=exp(-{\int }_0^t\tau (x)dx)$。

试想，其实在$0$到$\infty$不是所有位置上都有介质，介质总有边界，我们就可以定义近平面和远平面$t_n$和$t_f$，那么上述的积分其实可以写成：
$$I(0)={\int }_{t_n}^{t_f}{T}^{\prime }(t_n,t)\tau (t)c(t)dt$$

NeRF中把消光系数（也就是不透明度）$\tau (t)$叫做体积密度$\sigma (t)$，那么上式可以整理为：

$$I(0)={\int }_{t_n}^{t_f}{T}^{\prime }(t_n,t)\sigma (t)c(t)dt$$

如果记$T(t)=exp({\int }_{t_n}^t-\sigma (t)dt)$，那么上式可以变成：

$$I(0)={\int }_{t_n}^{t_f}T(t)\sigma (t)c(t)dt$$

而这一切讨论都是在固定射线的情况下，如果这个射线是动态的，我们还需要用$r(t)=o+td$来表示的话，那么$\tau (r(t))$其实可以表示在$r$这条射线上，$t$位置的体积密度，$c(r(t),d)$就可以表示在$r$这条射线上，$t$位置对$d$方向的光强。那么上式可以进一步变为：

$$I(0)={\int }_{t_n}^{t_f}T(t)\sigma (r(t))c(r(t),d)dt,whereT(t)=exp(-{\int }_{t_n}^t\sigma (r(s))ds)$$

因为我们研究的是$r$这条射线上的光，眼睛位置固定不变，所以可以隐去相机位置$0$，而添加参数$r$来强调射线也是个变量，再用C替换掉光强I，所以最终式子变为：

$$C(r)={\int }_{t_n}^{t_f}T(t)\sigma (r(t))c(r(t),d)dt,whereT(t)=exp(-{\int }_{t_n}^t\sigma (r(s))ds)$$

这就是原文当中的公式$1$。

把上式离散化，将近远平面区间等分为N份，在每个小区间内取样。
把积分符号变为求和，$T(t)$变为$T_i$，$c(r(t),d)$变为$c_i$，$\sigma (r(t))dt$ 变为${\sigma }_i{\delta }_i$，则得到最终的离散化公式。