可学习的FrameField优化建筑物提取CVPR2021

Frame field

帧场是一个4向量构成的元组，它为平面的每个点分配四个向量。在帧场中，前两个向量被约束为与另外两个相反的向量，即，每个点被分配一组向量$(u,-u,v,-v)$。对于图像中的每一点，我们考虑将帧定义为代表两个方向的两个复数$u,v\in C$。我们需要两个方向（而不仅仅是一个方向），因为建筑与有机形状（organic shapes）不同，建筑物是具有锐角的规则结构，在这些锐角上捕捉方向需要两个方位（沿着建筑边缘，至少有一个场方向与多边形切线方向对齐。在多边形拐角处，场与两个切线方向对齐，远离多边形边界的区域，框不具有任何对齐约束，但鼓励平滑且不塌陷的场）。为了对方向变化不可知的方式对方向进行编码，我们将frame field表示为以下多项式系数：$$f(z)=(z^2-u^2)(z^2-v^2)=z^4+c_2{z}^2+c_0$$我们用$f(z;c_0,c_1)$表示上述式子，给定$(c_0,c_1)$，我们可以获得定义frame的方向：$$c_0=u^2{v}^2,c_1=-(u^2+v^2)$$$$u^2=-\frac{1}{2}(c_1+\sqrt{c_1^2-4c_0}),v^2=-\frac{1}{2}(c_1-\sqrt{c_1^2-4c_0})$$我们使用神经网络来学习每个像素的场，即每个像素上的$(u,v)$。

Frame field learning

backbone网络将$3\times H\times W$的图像$I$作为输入，输出像素分类特征图和frame field。像素分类特征图包含两个通道，${\hat{y}}_{int}$对应于建筑物的内部（interiors），${\hat{y}}_{edge}$对应建筑物的边缘（boundaries）。frame field包含4个通道，分别对应两个复数${\hat{c}}_0,{\hat{c}}_1\in C$。

Segmentation loss
我们的方法可以使用任何深度分割模型作为主干；在我们的实验中，我们使用了U-Net和DeepLabV3架构。通过主干输出$F$维特征图${\hat{y}}_{backbone}\in R^{F\times H\times W}$。对于分割任务，我们在主干上附加了一个全卷积块（以${\hat{y}}_{backbone}$为输入），由3×3卷积层、批量归一化层、ELU非线性、另一个3×3的卷积和sigmoid非线性组成。分割头输出分割图${\hat{y}}_{seg}\in R^{2\times H\times W}$，第一个通道包含对象内部分割图${\hat{y}}_{int}$，第二个通道包含对象边缘分割图${\hat{y}}_{edge}$。训练是有监督的，每个输入图像都被标记了$y_{int}$和$y_{edge}$，分别对应于栅格化（也是计算机图形学中的光栅化）多边形的内部和边缘。然后，我们将交叉熵loss和 dice loss 的线性组合应用于建筑物内部输出的损失$L_{int}$以及应用于轮廓（边缘）输出的损失$L_{edge}$。

Frame field loss
除了分割输出，我们的网络还输出frame field。我们通过由3×3卷积层、批量归一化层、ELU非线性、另一个3×3的卷积和tanh非线性组成的全卷积块将另一个解码头附加到主干。frame field block输入为backbone输出的特征和分割分支输出的concat：$[{\hat{y}}_{backbone},{\hat{y}}_{seg}]\in R^{(F+2)\times H\times W}$，输出为${\hat{c}}_0,{\hat{c}}_2\in C^{4\times H\times W}$。相应的GT是每个像素上的角度${\theta }_{\tau }\in [0,\pi )$（多边形轮廓的无符号切线向量）。我们使用3种损失训练frame field：$$L_{align}=\frac{1}{HW}\sum _{x\in I}{y}_{edge}(x)|f(e^{i{\theta }_{\tau }};{\hat{c}}_0(x),{\hat{c}}_1(x)){|}^2$$$$L_{align90}=\frac{1}{HW}\sum _{x\in I}{y}_{edge}(x)|f(e^{i{\theta }_{\tau 90}};{\hat{c}}_0(x),{\hat{c}}_1(x)){|}^2$$$$L_{smooth}=\frac{1}{HW}\sum _{x\in I}(||\nabla {\hat{c}}_0(x)|{|}^2+||\nabla {\hat{c}}_1(x)|{|}^2)$$其中，${\theta }_{\tau }$是$\tau$（$\tau =||\tau |{|}_2{e}^{i{\theta }_{\tau }}$）的方向，$\tau 90=\tau -\frac{\pi }{2}$。每种损失衡量的是frame field的不同性质：

• $L_{align}$ 强制frame field与切线方向对齐。当多项式$f(\cdot ;{\hat{c}}_0,{\hat{c}}_1)$在$e^{i{\theta }_{tau}}$附近有根时，该项很小，这意味着其中一个frame的方向（可能是$(u,-v)$，属于$(\pm u,\pm v)$）与切线方向$\tau$对齐。
• $L_{align90}$鼓励frame与切线方向$\tau$的法线方向对齐，可以防止frame塌陷成一条线。
• $L_{smooth}$是测量作为图像中位置$x$的函数${\hat{c}}_0(x)$和${\hat{c}}_1(x)$平滑度的Dirichlet能量。平滑变化的函数${\hat{c}}_0(x)$和${\hat{c}}_1(x)$可以生成平滑的frame field。

Output coupling loss
我们增加耦合损失，确保网络输出之间的一致性：$$L_{intalign}=\frac{1}{HW}\sum _{x\in I}f(\nabla {\hat{y}}_{int}(x);{\hat{c}}_0(x),{\hat{c}}_1(x){)}^2$$$$L_{edgealign}=\frac{1}{HW}\sum _{x\in I}f(\nabla {\hat{y}}_{edge}(x);{\hat{c}}_0(x),{\hat{c}}_1(x){)}^2$$$$L_{intedge}=\frac{1}{HW}\sum _{x\in I}max(1-{\hat{y}}_{int}(x),||\nabla {\hat{y}}_{int}(x)|{|}_2)\cdot |||\nabla {\hat{y}}_{int}(x)|{|}_2-{\hat{y}}_{edge}(x)|$$其中：

• $L_{intalign}$将预测的建筑物内部${\hat{y}}_{int}$的空间梯度与frame field对齐；
• $L_{edgealign}$将预测边缘${\hat{y}}_{edge}$的空间梯度与frame field对齐；
• $L_{intedge}$将$max(1-{\hat{y}}_{int}(x),||\nabla {\hat{y}}_{int}(x)|{|}_2)$作为系数，当两项都为0时，损失为0，当$x$在建筑物外部（此时$(1-{\hat{y}}_{int}(x))$较大）或者边缘（此时$||\nabla {\hat{y}}_{int}(x)|{|}_2$较大），都会有损失，最后的优化目标就是房屋内部梯度平整为0，其他地方梯度要等于边界的概率map（边界为1，其他为0）。这样按建筑物内外和边界来考虑，因此能够检测到建筑物的共用边。

Final loss
由于损失（$L_{int}$、$L_{edge}$、$L_{align}$、$L_{align90}$、$L_{smooth}$、$L_{int-align}$、$L_{edges-align}$和$L_{int-edge}$）具有不同的单位（数值范围），我们通过使用随机初始化网络在训练数据集的随机子集上平均其值来计算每个损失的归一化系数。换言之，在线性组合之前，通过该系数对各项loss进行归一化。

Frame field的学习框架如下图所示：

• 给定一个输入图像，模型输出边缘mask、内部mask和帧场。loss将掩码和场与GT对齐，并增强帧场的平滑度，同时确保输出之间的一致性。

生成frame field的网络如下图：

• 生成frame field的网络架构的详细信息。

Frame field的多边形化

从frame field多边形化的方法来自Active Contour Model（ACM）。优化过程如下图所示（下图以一个局部小区域为例进行演示）：

• 给定建筑物内部分类图和帧场作为输入，使用活动骨架模型（ASM，Active Skeleton Model）优化轮廓以与帧场对齐，并使用帧场检测角点（corner），简化非角点（non-corner）。

ACM由给定的轮廓进行初始化，并且需要最小化能量函数$E_{contour}^{\ast }$，该函数用于将轮廓点移向最佳位置。通常，该能量函数由一个用于将轮廓拟合到图像的项和限制拉伸或曲率量的附加项组成。通过梯度下降进行优化。总的来说，ACM非常适合在GPU上并行执行，并且可以使用深度学习框架中包含的自动求导模块来执行优化。我们对ACM进行了调整，以便在骨架图（skeleton graph）而不是轮廓（contour）上执行优化，从而给出了活动骨架模型（ASM）。

---

我们将skeleton graph定义为：对${\hat{y}}_{edge}$进行简化得到连通像素的graph表示

---

实验

数据集

实验需要GT为多边形的建筑物注释，而不是栅格化的注释。数据集包括：

• CrowdAI：341438幅尺寸为300×300像素的航空图像，带有相关的ground truth多边形注释。
• Inria Aerial Image Labeling dataset ：360幅尺寸为5000×5000像素的航空图像。代表了10个城市，使其比CrowdAI数据集更加多样化。然而，GT是光栅化的二元掩模的形式。我们通过使用多边形化方法将原始GT二元掩码转换为多边形注释来创建Inria Polygonized dataset。

实验结果

• CrowdAI测试图像上的建筑物提取结果。建筑从左到右变得更加复杂。
• 上：U-Net变体+ASIP（后处理方法）；
• 中：PolyMapper；
• 下：我们的方法，即UResNet101+frame field多边形化。