A robust three-stage approach to large-scale urban scene recognition(2)——[19]三维重建表面的高阶CRF结构分割

目的：将大规模城市环境的多视图立体重建表面（三角形网格S）分割为structural segments。每个segments对应于由最多二阶的表面单元描述的structural component（如外观，屋顶，圆顶等），该分割用于随后的城市对象建模，矢量化和识别。

方法概述：为了克服3D重建城市表面中的高几何和拓扑噪声水平，我们用公式将结构分割表示为高阶条件随机场（CRF）标记问题。它不仅合并了经典的低阶2D和3D局部线索，还编码上下文几何regularities以消除嘈杂的局部线索的歧义。一般的高阶CRF难以解决。我们通过the patch-based的表面表示开发自下而上的渐进式方法，该方法从初始网格三角形迭代演变为最终分割。每次迭代都交替的执行prior discovery step和inference step，prior discovery step用来发现patch-based表示的上下文regularities，inference step则利用发现的regularities作为高阶先验来构建一个更加稳定和规律的分割。

主要创新点：

1.用于2D-3D联合分割的新的高阶CRF公式。

2.隐式的patch-based的表面表示降低了复杂性，这使得高阶CRF能够以有效的方式解决。

3.一种有效的算法，包括中间图形匹配，以施加更高阶的形状先验，容忍缺陷并产生高规律性的结果。

主要步骤：

1.使用大规模MVS方法（例如，[7,17,27]）,通过多视图图像{I}重建三角形网格S。

2.采用CRF框架，通过最小化能量函数来预测每个表面单元的标签。

表面S由称为表面单元{x0，x1，...，xn}的一组不相交的patches表示。结构分割被公式化为标记问题：属于相同structural component的表面单元被赋予相同的标签。但是，噪声的存在严重降低了表面单元的局部特性，使得它们无法恢复正确的标签。需要考虑邻近地区以及全局背景。这促使我们采用CRF框架，一种结构化的概率模型，来预测最可能的标签。

我们通过最小化能量函数为y（x的标签）分配最佳标签。

一元potential φi测量xi与输入多视图图像I的光度相关性，成对potential ψij 在xi和xj的交点处编码2D-3D联合域不连续约束，高阶potential ψR把规则性先验强加在规则而干净的分割上。通过交叉验证来学习涉及potential的参数。

当相邻单元被分配给相同的标签时，通过体积差异测量来评估它们的合并，体积差异测量表示差矢量n沿法线方向的拟合二次曲线的长度。

Data: mesh surface S, images I, threshold ε. Result: structural segmentation represented by a graph G (Each node x ∈ G represents a disjoint surface patch, and y is the label of x that represents a quadric.). Initialize G(0) as the dual graph of S ; repeat Ensure local photo-geometry consistency using lower order potentials φi and ψij (Eqn 2, 3); Find regular patterns {R} in G(t) (Eqn 6); for each R do Identify every subgraph Gc ⊆ G(t) that closely matches R; Conform Gc to R by imposing higher order potential ψR (Eqn 7); end Infer the labeling y(t) by minimizing E(t) (Eqn 1); Reduce G(t) to G(t+1) by merging nodes with the same label, and volume discrepancy is less than ε (as shown in Figure 2); Update the label set Ly by fitting new nodes {x(t+1)} with quadrics; until G(t+1) = G(t);

Algorithm 1: Overview of the iterative algorithm

合并后，一组新的合并后的表面单元x(t+1)用于下一次迭代，y(t)用作x(t)的初始标记，如算法1所示。在每次迭代后，基于表面的表示被简化，如图2所示。我们的分割方法相当于一个渐进式的图缩减。随着图表的减少，标签问题的复杂性也会降低。

图2：渐进式分割和图形（数量）缩减。每个表面分区（顶部）对应patch-based的图形表示（底部）。由于分割过程受规则性约束，因此缩减的图形在视觉上是规则的。

 

3.将相同标签的表面单元聚合成更大的表面单元{cliques}。

 

4.从{cliques}中通过子图同构方法gSpan [29]发现regularities（相当于一个规律性先验），并将其用于整合那些有噪音的部分，最终形成一个个structural component。

重建的网格固有地包含几何和拓扑噪声（例如，图1,6中普遍存在的扭曲，空洞和属），这会影响局部几何属性的可靠性。有一个城市假设被用来消除噪音的局部属性，该假设认为城市场景的人造物体通常都被设计成有规律的。我们的关键观察是结构模式的重复是一种独特的城市规律。例如，平行度是表面取向或边缘方向的重复;对称性是几何形状的重复;建筑风格是结构元素组合之间相互关系的重复。接近[31]中的想法，通过支持重复，抑制细微的细节和噪音，我们能够获得更规则的表面分区。当一个集团（cliques）（一组有条件地依赖于彼此的表面单元）的标记符合频繁的标记模式的时候，我们认为是它是规则的，并且该模式被称为一个regularity。

语境规律。我们从输入中内在地定义规律性。例如，图3和图4显示了从宫殿和高层建筑中发现的规律性。regularity是patch-based的表面表示中的足够频繁的图形模式R =（xR，yR，aR，bR）。

图形模式的重现由图论概念子图同构定义，子图同构是两个标记图之间的结构保持双射。 通过使用精确的子图同构方法gSpan [29]找到regularities。

我们首先使用子图同构来讨论regularity的发现，然后我们提出了一个Higher-order Regularity Potential，将regularities约束编码为先验，最终提高了分割质量。我们提出的regularity-constrained potential鼓励每个cliques采用足够频繁的标签模式。

图3：（a）顶部：第t次迭代的表面分区。底部：相应的patch-based的表面表示G（t）。（b）R是在G（t）中发生四次的regularity。节点和边缘由标签进行颜色编码。（c）含有R的四个子图的标签是规则的。（d）鼓励四个cliques保留其标签。检测到平移，旋转（例如，c2和c3）和反射（例如，c3和c4）对称性。

The higher-order potentials编码我们刚刚发现的regularities。这些regularities比传统网格分割方法所依赖的局部几何属性更具表现力。同时，The higher-order potentials允许捕获表面单元之间的多个相互作用。表面单元之间的相互关系可以消除不可靠的局部线索的歧义，并得到更准确的分区。

一旦我们恢复了regularities，我们可以使用它们来执行不精确的匹配以找到其他不完美的实例，这是基于以下事实：一个regularity的一些损坏的实例可能由于缺陷而难以识别; 同时，其他实例仍然是精确的，因此可以用来发现regularity。因此，我们首先通过精确匹配来计算regularities，这可以通过精确的图同构来有效地解决。然后我们使用这些regularities将它们与G中的所有子图不完全匹配。这些规则性先验使我们的方法能够应对噪声。通过利用城市场景的这种冗余性质，我们的方法接受数据不完善。在处理歧义（这在立体重建网格中是不可避免的）时，它也优于以前的方法。

参考文献：

[7]Y. Furukawa and J. Ponce. Accurate, dense, and robust multiview stereopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362–76, Aug. 2010. 1, 2, 6

[17]M. Lhuillier and L. Quan. A quasi-dense approach to surface reconstruction from uncalibrated images. IEEE Transactions on PatternAnalysis and MachineIntelligence, 27(3):418–33, Mar. 2005. 2, 6

[27]H.-H. Vu, P. Labatut, J.-P. Pons, and R. Keriven. High accuracy and visibility-consistent dense multiview stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(5):889–901, May 2012. 1, 2, 6

[29]X. Yan and J. Han. gSpan: graph-based substructure pattern mining. In IEEE International Conference on Data Mining, volume 1, pages 721–724. IEEE Comput. Soc, 2002. 5