《BUILDING CHANGE DETECTION BASED ON 3D RECONSTRUCTION》

研究思路：

摘要：
不同时期建筑物自动变化检测对于城市监测、灾害评估、地图更新等具有重要意义。现有的数据源可用于三维几何模型（如数字表面模型、地理信息系统）和来自卫星或特种飞机的辐射图像。然而，使用上述方法进行及时变化检测的费用是非常昂贵的。随着无人机技术的迅速发展，在低海拔地区利用高分辨率摄像机捕捉城市建筑物图像正在变得越来越便宜。使用这些易获得的无人机图像，提出了一种基于三维重建生成变化检测框架的深度图，可以克服光照变化大的问题。首先，将基于三维重建的图像应用于从两个不同时期获取的的无人机影像数据集中重新获取两期点云与相关的相机姿势。然后从每个三维模型生成深度图，其次是二维-三维配准程序将两个重建的三维点云对齐。最后，生成不同的深度图并且我们可以通过使用随机森林分类法和连通域分析法将变化的建筑物分割出来。实验结果也证明了该框架的有效性和适用性。

介绍：
对于许多应用而言，自动建筑物变化检测是很重要的任务。这些应用利用卫星或特殊飞机的三维几何模型和辐射图像。一种直接检测变化区域的方法是比较两个不同时期获取的三维几何模型。然而，然而，生成一个精确三维几何模型的费用是很昂贵的，通常涉及到高分辨率航空立体图像或安装在载人飞船上的激光雷达，然后还有一些复杂的配准程序。因此，在许多情况下，应用它们是不适当的。另一方面，许多文献利用卫星辐射图像中的各种相关分析算法来检测变化较大的区域，而这些区域通常仅对大的光照变化敏感并且结果的噪点很大。
随着无人机技术的快速发展，通过使用带有高分辨相机的无人机进行低海拔（低于1000米），高质量的城市建筑物区域影像可以很容易地获取到。由于无人机图像获取容易，我们提出了一种新的变化检测框架是基于图像的三维重建生成的深度图，它不仅能克服大的光照变化，而且还能更方便地使三维模型检索和满足及时变化检测的要求。与精确的三维几何模型不同，重建后的三维模型不准确，不完整并且坐标系是局部重建的。为了克服这些缺点，采用了基于深度图的2D-3D的配准方案，整个框架工作如上所示。
首先，我们获取感兴趣区域不同时期的两个无人机影像集并利用三维重建得到的三维密集的点云数据和相关的相机姿态。然后，利用2D-3D配准程序来将这两个点云调整在一起，这样就产生一个不同的深度图。最后，通过随机森林分类法和连通域分析法将变化区域分割出来。与生成精确的三维几何模型相比，生成的深度图能够保证该框架在处理大的照明条件的变化时操作简便。
本文的组织如下：第2节描述了该框架包括关于三维重建的细节、深度图生成、点云配准和变化检测。第3节给出了实验结果。最后，第4节概括了本文的结论和未来发展趋势。
基于三维重建的变化检测
该框架包括三维重建、正交深度图生成，2D-3D配准，生成不同的深度图和变化检测。该方法的整体工作流程图如上图所示。
三维重建
首先，无人机获取同一兴趣区域的两个航拍图像集。然后利用三维重建技术对相关照相机的姿态进行估计，生成每个场景的稠密场景三维点云。重建的三维点云有XYZ坐标、RGB值和法向量信息。
基于三维重建的每个图像集的工作如下：(1)特征点提取(SIFT);(2)特征匹配,(3)结构运动(SFM)和多核束调整恢复相机的姿势和稀疏三维特征点。(4)多视点立体(MVS)密集场景三维点云重建相机姿态和稀疏的三维特征点。
生成深度图
重建的三维点云与现有的三维几何模型有如下两个方面不同。（1）重建的坐标系统有一个刚性变换的全球地理坐标系统，但这应用于点云的测量是不适用的。不同的点云有自己的坐标系统，这就要求需要把它们配准在一起。（2）重建的点云不完整，重建的相机姿态分布决定了点云密度。对于基于无人机影像重建的三维点云，与建筑物的垂直面相比，建筑物的屋顶密度更大，这使得直接三维点云配准具有挑战性。
为了处理这种生成的三维模型缺陷，提出了一种方法来提取正交深度地图，它可以利用更可靠的屋顶信息的同时，又抑制建筑物垂直面信息。深度图可以用于进一步将两个点云对齐。我们假设获取影像的无人机几乎是在同一高度，一个虚拟近似水平的平面可以通过使用随机抽样一致性估计(RANSAC )来恢复相机的中心。然后，通过投影三维点云到这个虚拟平面，以此来生成一个深度图。图中的一个像素用一个方柱来表示。与像素对应的深度是圆柱体中的点与虚拟平面之间的最小距离。并且像素的RGB信息来自同一3D点。圆柱体的大小是由k倍的点云的平均距离决定。公式是：

其中d(pi,pj)表示在n个点的点云pc中,点pi和pj之间的距离。

2D-3D配准
与2D图像配准是将将两幅图像拼接在一起不同的是，这里的配准目标是将先前重建的两个三维点云对齐。关键是要在两个点云中，找到对应的三维点。然后从源点云到参照点云中对应点之间的最小距离中，估计刚体变换信息。最后，利用从源点云中的估计变换来完成任务。
通过在包括特征匹配阶段和从深度图中分割二维RGB图像的同态噪声处理阶段的配准方法采用传统的二维特征匹配（SIFT），我们可以得到鲁棒匹配的二维点和处理两幅深度图之间的区域变化。从匹配的2D点中，我们可以搜索到点云中相关的3D点。从这些匹配点的三维使用umeyama算法两个点云之间的刚体变换可估计[ 15 ]，减少匹配点间的最小平方误差如下。通过使用可以减少匹配点间的最小平方误差三维点匹配Umeyama算法，我们可以估计两个点云间的刚体信息。公式如下：

这里的xi,yi,i=1…n是用来匹配三维点的坐标。
通过使用最近点迭代算法(ICP)，我们进一步使用点云中所以的三维点而不是稀疏的匹配来细化被估计的刚体信息。(1):在每个参照点云中，找到与每个源点云最近的点；（2）使用umeyama算法来估计刚体变换信息；（3）将刚体转换（rigid transformation）应用到源点云中；（4）迭代重新关联的最密切匹配点；
变化检测：
在两个点云对齐后，同一坐标系下的同一区域两个深度图，如第2.2节所提的那样重新生成。对于许多基于图像的变化检测分析技术而言，深度图是足够准确且高质量的。在这里，我们用简单的减法得到不同深度图。
当然，由于三维重建、配准和场景中的非建筑物区域变化的一些误差，会使得深度差异图中存在许多变化区域。其中，最值得注意的地区变化是由植被生长引起的。因为我们观察到，重建的植被顶点上的法线向量是无序的，而人工建筑的法向量是有序的。基于这种情形，我们可以使用直方图方向（SHOT）描述符，这种正常的矢量分布统计作为识别标志，以此作为特征来训练一个随机森林进行分类。然后，根据这种分类法在不同深度图的每个区域进行分类后会过滤掉植被区域。之后，我们使用连通域分析技术去除噪音小的区域后，最终建筑物变化区域如图2所示。