Mip-NeRF：反走样神经辐射场的多尺度表示

Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

传统神经辐射场（Neural Radiance Field，NeRF）对图像中的每一个像素发射一条光线，在该光线上取若干采样点对场景进行采样。它的弱点在于训练和推导应当尽可能在同一分辨率下，否则会产生模糊（近距离）、混叠（远距离），造成准确率下降。为了解决这个问题，一个直接的想法是增加每个像素发射的光线数量，然而每条光线的渲染都需要查询 MLP 数百次，这种超采样方式的开销是不可接受的。

Mip-NeRF 的做法是用视锥取代光线，借用 CG 中 Mipmap 的概念，利用一些预处理得到的 Mipmap，从而能够更好地还原不同分辨率下的场景。这些 Mipmap 也是由 MLP 学习得到的特征，由于暗含了分辨率参数（事实上，即 $t$），Mip-NeRF 只需要一个统一的 MLP 即可表达场景，而不用像传统 NeRF 那样分粗、细粒度两个。

区别于 NeRF 采样空间中无限小的点，Mip-NeRF 采样的是具有形状和大小、对尺度敏感的视锥。对位置向量 $\mathbf{x}$ 参数化：

术语	含义
图像平面（$t=1$）	$\mathbf{o}+\mathbf{d}$
图像平面视锥半径 （像素宽度的 $2/\sqrt{12}$ 倍）	$\dot{r}$
视锥范围（近点、远点）	$[t_0,t_1]$

$$\mathrm{F}(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1)=1\left\{\left(t_0<\frac{{\mathbf{d}}^{\mathrm{T}}(\mathbf{x}-\mathbf{o})}{\Vert \mathbf{d}{\Vert }_2^2}<t_1\right)\wedge \left(\frac{{\mathbf{d}}^{\mathrm{T}}(\mathbf{x}-\mathbf{o})}{\Vert \mathbf{d}{\Vert }_2\Vert \mathbf{x}-\mathbf{o}{\Vert }_2}>\frac{1}{\sqrt{1+{\left(\dot{r}/\Vert \mathbf{d}{\Vert }_2\right)}^2}}\right)\right\}$$用 $\tan \dot{\theta }=\frac{\dot{r}}{\Vert \mathbf{d}{\Vert }_2}$ 表示视锥在图像平面的半张角，上式改写为：
$$\mathrm{F}(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1)=1\left\{\left(t_0<\frac{{\mathbf{d}}^{\mathrm{T}}(\mathbf{x}-\mathbf{o})}{\Vert \mathbf{d}{\Vert }_2^2}<t_1\right)\wedge \left(\frac{{\mathbf{d}}^{\mathrm{T}}(\mathbf{x}-\mathbf{o})}{\Vert \mathbf{d}{\Vert }_2\Vert \mathbf{x}-\mathbf{o}{\Vert }_2}>\cos \dot{\theta }\right)\right\}$$当且仅当 $\mathrm{F}(\mathbf{x},\cdot )=1$ 时 $\mathbf{x}$ 在视锥内部。此时位置编码更正为积分位置编码（Integral Positional Encoding，IPE）的期望：
$${\gamma }^{\ast }(\mathbf{o},\mathbf{d},\dot{r},t_0,t_1)=\frac{\int \gamma (\mathbf{x})\mathrm{F}(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1)\mathrm{d}\mathbf{x}}{\int \mathrm{F}(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1)\mathrm{d}\mathbf{x}}$$上述积分的分子部分没有精确解，Mip-NeRF 使用多元高斯近似（假设视锥沿射线对称）。

术语	含义
射线方向距离均值	${\mu }_t$
射线方向距离方差	${\sigma }_t^2$
垂轴方向距离方差	${\sigma }_r^2$

对位置向量进行坐标变换：
$$\{\begin{array}{l}x=r^{\prime }\cos \theta \\ y=r^{\prime }\sin \theta \\ z=t\end{array},\frac{1}{\dot{r}}=\frac{t}{r^{\prime }}⟹r^{\prime }=\dot{r}t$$$$\mathbf{x}=\phi (r,t,\theta )=(rt\cos \theta ,rt\sin \theta ,t),\theta \in [0,2\pi ),t\ge 0,|r|\le \dot{r}$$微元：
$$\begin{array}{rl}\mathrm{d}x\mathrm{d}y\mathrm{d}z& =|\det D\phi (r,t,\theta )|\mathrm{d}r\mathrm{d}t\mathrm{d}\theta \\ & =\left|\begin{array}{ccc}\frac{\partial x}{\partial r}& \frac{\partial x}{\partial t}& \frac{\partial x}{\partial \theta }\\ \frac{\partial y}{\partial r}& \frac{\partial y}{\partial t}& \frac{\partial y}{\partial \theta }\\ \frac{\partial z}{\partial r}& \frac{\partial z}{\partial t}& \frac{\partial z}{\partial \theta }\end{array}\right|\mathrm{d}r\mathrm{d}t\mathrm{d}\theta \\ & =\left|\begin{array}{ccc}t\cos \theta & r\cos \theta & -rt\sin \theta \\ t\sin \theta & r\sin \theta & rt\cos \theta \\ 0& 1& 0\end{array}\right|\mathrm{d}r\mathrm{d}t\mathrm{d}\theta \\ & =-(r{t}^2{\cos }^2\theta +r{t}^2{\sin }^2\theta )\mathrm{d}r\mathrm{d}t\mathrm{d}\theta \\ & =-r{t}^2\mathrm{d}r\mathrm{d}t\mathrm{d}\theta \end{array}$$体积：
$$\begin{array}{rl}V& =\underset{\begin{array}{rl}0\le & \theta <2\pi \\ & t\ge 0\\ |& r|\le \dot{r}\end{array}}{\iiint }|\mathrm{d}x\mathrm{d}y\mathrm{d}z|\\ & ={\int }_0^{2\pi }\mathrm{d}\theta {\int }_{t_0}^{t_1}{t}^2\mathrm{d}t{\int }_0^{\dot{r}}r\mathrm{d}r\\ & =2\pi \cdot \frac{t_1^3-t_0^3}{3}\cdot \frac{{\dot{r}}^2}{2}\\ & =\frac{\pi }{3}(t_1^3-t_0^3){\dot{r}}^2\end{array}$$类似地：
$${\mu }_t=\mathrm{E}[t]=\frac{1}{V}{\int }_0^{2\pi }\mathrm{d}\theta {\int }_{t_0}^{t_1}{t}^3\mathrm{d}t{\int }_0^{\dot{r}}r\mathrm{d}r=\frac{1}{V}\cdot 2\pi \cdot \frac{t_1^4-t_0^4}{4}\cdot \frac{{\dot{r}}^2}{2}=\frac{3(t_1^4-t_0^4)}{4(t_1^3-t_0^3)}$$$$\mathrm{E}[t^2]=\frac{1}{V}{\int }_0^{2\pi }\mathrm{d}\theta {\int }_{t_0}^{t_1}{t}^4\mathrm{d}t{\int }_0^{\dot{r}}r\mathrm{d}r=\frac{1}{V}\cdot 2\pi \cdot \frac{t_1^5-t_0^5}{5}\cdot \frac{{\dot{r}}^2}{2}=\frac{3(t_1^5-t_0^5)}{5(t_1^3-t_0^3)}$$$${\sigma }_t^2=\mathrm{Var}[t]=\mathrm{E}[t^2]-{\mathrm{E}}^2[t]=\frac{3(t_1^5-t_0^5)}{5(t_1^3-t_0^3)}-{\mu }_t^2$$$$\mathrm{E}[x]=\frac{1}{V}{\int }_0^{2\pi }\cos \theta \mathrm{d}\theta {\int }_{t_0}^{t_1}{t}^3\mathrm{d}t{\int }_0^{\dot{r}}{r}^2\mathrm{d}r=0$$$$\mathrm{E}[x^2]=\frac{1}{V}{\int }_0^{2\pi }{\cos }^2\theta \mathrm{d}\theta {\int }_{t_0}^{t_1}{t}^4\mathrm{d}t{\int }_0^{\dot{r}}{r}^3\mathrm{d}r=\frac{1}{V}\cdot \pi \cdot \frac{t_1^5-t_0^5}{5}\cdot \frac{{\dot{r}}^4}{4}=\frac{3(t_1^5-t_0^5)}{20(t_1^3-t_0^3)}{\dot{r}}^2$$$${\sigma }_r^2=\mathrm{Var}[x]=\mathrm{E}[x^2]-{\mathrm{E}}^2[x]=\frac{3(t_1^5-t_0^5)}{20(t_1^3-t_0^3)}{\dot{r}}^2$$上述公式在数值计算层面存在指数爆炸（五次方）、差为零（$t_1-t_0$ 太小）的问题，训练过程会产生 0 或者 $\mathrm{NaN}$，需要进一步参数化 $t_1$ 和 $t_0$ ：
$$\{\begin{array}{l}{t}_{\mu }=\frac{t_1+t_0}{2}\\ t_{\delta }=\frac{t_1-t_0}{2}\end{array}$$重写前述公式：
$$\begin{array}{rl}{\mu }_t& =\frac{3}{4}\cdot \frac{(t_1-t_0)(t_1+t_0)\left[(t_1+t_0{)}^2-2t_1{t}_0\right]}{(t_1-t_0)(t_1^2+t_0^2+t_1{t}_0)}\\ & =\frac{3(t_{\mu }^2+t_{\delta }^2)t_{\mu }}{3t_{\mu }^2+t_{\delta }^2}\\ & =t_{\mu }+\frac{2t_{\mu }{t}_{\delta }^2}{3t_{\mu }^2+t_{\delta }^2}\end{array}$$$$\begin{array}{rl}{\sigma }_t^2& =\frac{3}{5}\cdot \frac{(t_1-t_0)\left[{\left(t_1^2+t_0^2\right)}^2-{\left(t_1{t}_0\right)}^2+\left(t_1^2+t_0^2\right)t_1{t}_0\right]}{(t_1-t_0)(t_1^2+t_0^2+t_1{t}_0)}-{\mu }_t^2\\ & =\frac{3(5t_{\mu }^4-2t_{\mu }^2{t}_{\delta }^2+t_{\delta }^4)t_{\delta }^2}{5{\left(3t_{\mu }^2+t_{\delta }^2\right)}^2}\\ & =\left[\frac{1}{3}-\frac{4(12t_{\mu }^2-t_{\delta }^2)t_{\delta }^2}{15{\left(3t_{\mu }^2+t_{\delta }^2\right)}^2}\right]t_{\delta }^2\end{array}$$$$\begin{array}{rl}{\sigma }_r^2& =\frac{3}{20}\cdot \frac{(t_1-t_0)\left[{\left(t_1^2+t_0^2\right)}^2-{\left(t_1{t}_0\right)}^2+\left(t_1^2+t_0^2\right)t_1{t}_0\right]}{(t_1-t_0)(t_1^2+t_0^2+t_1{t}_0)}\cdot {\dot{r}}^2\\ & =\left(\frac{t_{\mu }^2}{4}+\frac{5t_{\delta }^2}{12}-\frac{4t_{\mu }^2{t}_{\delta }^2}{15(3t_{\mu }^2+t_{\delta }^2)}\right){\dot{r}}^2\end{array}$$于是相机坐标到世界坐标的变换：
$$\{\begin{array}{l}\mathbf{\mu }=\mathbf{o}+{\mu }_t\mathbf{d}\\ \mathbf{\Sigma }={\sigma }_t^2\mathbf{d}{\mathbf{d}}^{\mathrm{T}}+{\sigma }_r^2\left(\mathbf{I}-\frac{\mathbf{d}{\mathbf{d}}^{\mathrm{T}}}{\Vert \mathbf{d}{\Vert }_2^2}\right)\end{array}$$矩阵变换形式的位置编码：
$$\mathbf{P}={\left[\begin{array}{cccccccccc}1& 0& 0& 2& 0& 0& & 2^{L-1}& 0& 0\\ 0& 1& 0& 0& 2& 0& \cdots & 0& 2^{L-1}& 0\\ 0& 0& 1& 0& 0& 2& & 0& 0& 2^{L-1}\end{array}\right]}^{\mathrm{T}},\gamma (\mathbf{x})=\left[\begin{array}{c}\sin \mathbf{P}\mathbf{x}\\ \cos \mathbf{P}\mathbf{x}\end{array}\right]$$根据：
$${\mathrm{E}}_{x\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })}\left[\begin{array}{c}\sin x\\ \cos x\end{array}\right]=\left[\begin{array}{c}\sin \mu \exp \left(-\frac{1}{2}{\sigma }^2\right)\\ \cos \mu \exp \left(-\frac{1}{2}{\sigma }^2\right)\end{array}\right]$$定义积分位置编码：
$$\gamma ({\mathbf{\mu }}^{\prime },{\mathbf{\Sigma }}^{\prime })={\mathrm{E}}_{\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}^{\prime },{\mathbf{\Sigma }}^{\prime })}[\gamma (\mathbf{x})]=\left[\begin{array}{c}\sin {\mathbf{\mu }}^{\prime }\circ \exp \left(-\frac{1}{2}\mathrm{diag}{\mathbf{\Sigma }}^{\prime }\right)\\ \cos {\mathbf{\mu }}^{\prime }\circ \exp \left(-\frac{1}{2}\mathrm{diag}{\mathbf{\Sigma }}^{\prime }\right)\end{array}\right]$$其中：
$$\{\begin{array}{l}{\mathbf{\mu }}^{\prime }=\mathbf{P}\mathbf{\mu }\\ {\mathbf{\Sigma }}^{\prime }=\mathbf{P}\mathbf{\Sigma }{\mathbf{P}}^{\mathrm{T}}\end{array}$$$$\mathrm{diag}{\mathbf{\Sigma }}^{\prime }={\left[\begin{array}{cccc}\mathrm{diag}\mathbf{\Sigma }& 4\mathrm{diag}\mathbf{\Sigma }& \cdots & 4^{L-1}\mathrm{diag}\mathbf{\Sigma }\end{array}\right]}^{\mathrm{T}}$$于是：
$$\gamma ({\mathbf{\mu }}^{\prime },{\mathbf{\Sigma }}^{\prime })={\left\{\left[\begin{array}{c}\sin 2^l\mathbf{\mu }\circ \exp \left(-2^{2l-1}\mathrm{diag}\mathbf{\Sigma }\right)\\ \cos 2^l\mathbf{\mu }\circ \exp \left(-2^{2l-1}\mathrm{diag}\mathbf{\Sigma }\right)\end{array}\right]\right\}}_{l=0}^L$$由于 IID，我们只需要关心协方差矩阵的对角线，$\mathbf{\Sigma }$ 的计算可以简化为：
$$\mathrm{diag}\mathbf{\Sigma }={\sigma }_t^2\left(\mathbf{d}\circ \mathbf{d}\right)+{\sigma }_r^2\left(1-\frac{\mathbf{d}\circ \mathbf{d}}{\Vert \mathbf{d}{\Vert }_2^2}\right)$$

References

J. T. Barron, B. Mildenhall, M. Tancik, et al. Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields. ICCV’21. https://arxiv.org/abs/2103.13415