【论文笔记】Radar Fields: An Extension of Radiance Fields to SAR

原文链接：https://arxiv.org/abs/2312.12961

1. 引言

本文针对合成孔径雷达（SAR）的3D重建，提出雷达场，基于多个SAR对场景的测量学习体积模型。

3. 辐射场的介绍

NeRF将静态场景表达为连续的体积函数$\mathcal{F}$，该函数可由MLP、体素分解或张量插值编码，预测给定点$x$和视线方向$d$下的RGB色彩$c$和密度$\sigma$。多视图一致性使得网络仅依赖$x$预测$\sigma$，而依靠$x$和$d$预测$c$。

NeRF的渲染与优化见神经辐射场的简单介绍。

表面模型：将辐射场扩展到表面模型，即将场景表达为表面$\mathcal{S}$：
S = { x ∈ R 3 ∣ F ( x ) = 0 } \mathcal{S}=\{x\in\mathbb{R}^3|\mathcal{F}(x)=0\} S={x∈R3∣F(x)=0}

记$d$为$x$到$\mathcal{S}$的最小距离，$\mathcal{F}$被定义为有符号距离函数（SDF）：
$$\mathcal{F}(x)=\{\begin{array}{cc}d(x,\mathcal{S})& 若x位于\mathcal{S}外部\\ -d(x,\mathcal{S})& 若x位于\mathcal{S}内部\end{array}$$

可以使用额外的损失项保证SDF的Eikonal属性：
$${\mathcal{L}}_{Eikonal}=\sum _{x\in \Omega }(\Vert \nabla \mathcal{F}(x){\Vert }_2^2-1{)}^2$$

其中$\Omega$包含表面附近的采样点和整个空间均匀采样的点。

表面模型的优化可以通过拉普拉斯函数的累积分布，转化为体积模型来实现：
$$\Psi (d)=\{\begin{array}{cc}\frac{1}{2}\exp (-\frac{d}{\beta })& d\ge 0\\ 1-\frac{1}{2}\exp (\frac{d}{\beta })& d<0\end{array}$$

其中$\alpha$与$\beta$为可学习的参数。渲染时，使用${\sigma }_i=\Psi (\mathcal{F}(x_i))$得到伪密度。

使用上述方法可以探索更多信息，例如表面法线$n(x)=\nabla \mathcal{F}(x)$。

4. 雷达场

SAR成像模型的介绍：部署在运动空载或机载平台上的天线会发射侧视几何形状的电磁脉冲，并接收地面反射。卫星飞行方向被称为方位角，射线方向被称为距离。对于每个方位角下发射的脉冲，卫星会收集反射并进行解调和采样，按照距离排序后存储为复数，将幅值（与地面反射率和角度相关）和相位（包含卫星到目标的路径延迟/调制波长的信息）分开。生成的图像被称为原始格式，且因为电磁波束的足迹大、脉冲长，分辨率很低。使用聚焦过程可以大幅提高分辨率，生成与短脉冲和窄波束等价的复值图像。SAR图像保留了距离信息，但在多个反射器有相同距离和方位角的时候，响应是二者相加的结果（有负面影响）。距离图像可以视为垂直入射角方向的投影视图，被雷达脉冲照亮，其中的物体看起来像透明的。SAR的获取过程如下所示。

雷达场的定义：给定射线集合 { r j } \{r_j\} {rj​}，其在给定方位角平面内的原点和方向为$\{(o_j,v_j)\}$， { d i } i ∈ { 1 , 2 , ⋯   , N } \{d_i\}_{i\in\{1,2,\cdots,N\}} {di​}i∈{1,2,⋯,N}​为这些射线的采样距离。设$s_{r_j}(d_i)$为$r_i$在距离$d_i$处的感知信号，类似NeRF的公式，可得
$$s_{r_j}(d_i)=-T_{i,j}{\alpha }_{i,j}⟨v_j|n_{i,j}{⟩}^{\theta }$$

给定$j$时，$T_{i,j}$与${\alpha }_{i,j}$的计算与NeRF相同，$n_{i,j}=\nabla \mathcal{F}(o_j+d_i{v}_j)$，系数$\theta$用于建模反射的镜面性。传统的SAR仿真中，反射信号$s$由下式给出：
$$s=-⟨v|n{⟩}^{\theta }$$

其中$v$是入射角，$n$为表面法线。对朗伯模型，通常假设$\theta =1$；对于镜面反射，需要设置更大的$\theta$，也可以通过学习得到。

注意，如上图所示，聚合是跨射线而非沿射线的：因为对给定的方位角，SAR将来自同一距离的反射器投影到同一像素中。则聚合公式为：
$$s(d_i)=\sum _{r_j}{s}_{r_j}(d_i)=\sum _{r_j}-T_{i,j}{\alpha }_{i,j}⟨v_j|n_{i,j}{⟩}^{\theta }$$

最后，在所有方位角平面计算结果，得到完整的SAR图像。

辐射场与雷达场的区别：如下表所示。对于辐射场的计算，沿射线采样聚合得到一个像素，而雷达场为跨射线采样得到一行（同一水平角）像素。

在辐射场中，采样距离时可以添加扰动，但雷达场的距离是固定的。但雷达场的信号不需要明确的原点，也就是说原点可以在方位角平面内变动，只要不改变距离。记$w_j$为方位角平面内与$v_j$正交的向量，则扰动原点可按下式给出：
$${\tilde{o}}_j=o_j+n{w}_j,n\sim \mathcal{N}(0,1)$$

此外，SAR图像含有大量噪声，服从复杂的Wishart分布。$L$视配置下，噪声样本协方差$C$的$d$维分布$p$为：
$$p(C)=\frac{L^{Ld}|C{|}^{L-d}}{{\Gamma }_d(L)|\Sigma {|}^L}\exp (-L\text{Tr}({\Sigma }^{-1}C))$$

其中$\Sigma$为无噪声方差，${\Gamma }_d(L)={\pi }^{d(d-1)/2}{\prod }_{k=1}^d\Gamma (L-K+1)$。当处理单通道单视强度图像时，样本协方差退化为单位阵$I$，且此模型简化为反射率的乘性散斑噪声：
$$I=n\times R,n\sim \Gamma (1,1)$$

尽管有噪声，仍然可以学习表面。将无噪声生成视图与有噪声样本比较是足够的。

表面模型实施：遥感中的地表通常使用数字表面模型（DSM）表达，即各点海拔的2D地图。本文使用类似的表达，记$dsm:[0,1{]}^2\to [0,1]$，定义
$$\mathcal{F}(x,y,z)=z-dsm(x,y)$$

注意该函数不完全是SDF（高度不一定是到表面的距离），但其隐式地表达了表面。对于更细粒度的情况，使用双线性插值和法线计算。DSM的像素值被直接优化。对Eikonal损失，可以替换为简单的表面正则化项：
$$\sum _{(x,y,z)}\sum _{(x^{\prime },y^{\prime },z^{\prime })\in \mathcal{N}(x,y,z)}\Vert dsm(x,y,z)-dsm(x^{\prime },y^{\prime },z^{\prime }){\Vert }_2^2$$

其中$\mathcal{N}$表示邻域。

5. 实验

合成数据生成：使用第4节的成像模型生成合成SAR图像，并添加噪声：$\tilde{s}(d)=n\times s(d),n\sim \Gamma (1,1)$，其中$s(d)$由4.2节最后一式得到。生成的数据/真实SAR数据以及几何参数会输入模型用于优化。

结果：可视化表明，可以从少量SAR图像利用提出的雷达场学习到地表。对于非朗伯表面，同时优化镜面图和几何，也能在输入数据富含噪声的情况下精确学习表面。

6. 讨论与结论

多次反射：由于表面设置，传感器的接收信号可能不是来自直接反射，而来自第二次或更多次的反射。当反射仍在同一方位角平面内时，相当于在第一次反射后延长射线，取飞行时间的一半，因此实际的测量位置有所偏差，如下图所示（B点的第二次反射对应的虚拟反射点为C点）。

更一般地，当反射不在同一方位角平面内时，情况更加复杂。可能需要将多个方位角平面一起渲染。

相位和偏振信息：若进一步引入相位和偏振信息，可能对提高精度有所帮助。