PredRecon: A Prediction-boosted Planning Framework for Fast and High-quality Autonomous Aerial Recon

采用无人机对建筑物进行三维重建在在工业领域具有广泛的应用，传统的三维重建方法需要建筑物区域的先验信息，先对建筑物进行粗略探测，为三维重建提供初始路径。就产生了两个飞行轨迹，导致了任务效率较低，并且延长了任务时间。近年来对三维重建的在线路径规划有一定的研究进展，但任务效率任然不足。

文章中提出的表面预测模型，在当前飞行获取的不完整点云信息的状态下，预测全局建筑物模型，用于生成更有目的的视点。再基于表面预测模型构建分层规划器，规划任务路径。将采集到的图像-位置对数据库通过COLMAP进行密集三维重建。

1. 表面预测模型 — (SPM) _基于学习

直接使用地图点云作为输入，从当前的局部图中预测整个目标模型表面的比例尺和点云初始数量较少的视点并且有效地观测目标。

SPM的输入为当前部分地图的固定数量采样点云，通过 局部变换Tp 直接处理每个点采样点：

                                 Tp(pi,Cc) = pi - Cc

Cc 是采样点云 Mc 的质心。

尺度估计和表面预测：
引入尺度估计来预测目标的粗略尺度，输入的 M_I 表示N_c个采样点的三维坐标矩阵。利用 PointNet 作为其置换不变性和有效的全局特征提取的骨干。然后，有两个多层感知器（MLP）作为输出分支。回归MLP直接给出一个矢量（x_s；y_s；z_s），指示三个轴上的刻度。在 PointNet 通过偏移 MLP 进行特别处理以获得相应的偏移（∆x_s；∆y_s；∆z_s），目标尺度公式化为：s_t = max(x_s+ ∆x_s,y_s+ ∆y_s,z_s+ ∆z_s) ，通过缩小 s_t 对输入点云M_I应用归一化。
表面预测 根据归一化 M_I 生成目标完整表面。M_I和逆归一化的 Yf-ine 被连接到2NC×3矩阵中作为预测表面M_P。（涉及基于学习内容，不太懂）

确定正确的视点采样空间，采用 GHPR 对 M_P 进行处理，以 获得内部空间S_I，这是视点生成的禁止空间。M_p表示预测表面。

带预测的体积映射 将从两个或多个不同视点观察到的表面定义为完整的观测表面，提取那些不完整的观测表面作为分层规划器的目标未覆盖区域。

2. 基于表面预测模型的分层规划器

（1）. 全局覆盖路径规划

如上图：从中心到法线方向为 每个簇在其自己的扇形圆柱体中的一组覆盖视点进行采样 ；充分考虑立体视觉因素，在每个聚类中选择具有最高表面可见性比的视点 V_G; V_G = {V_g¹,V_g²,…V_g ^N~G~ } 。V_gⁱ 包含位置和偏航角信息。
视点的表面可见性比率定义为：r(v,s) = N(v) / N(s) ; 其中v是视点，s是观察到的表面，N（v）是从v可以看到的s中可见点的数量，N（s）是s中的点的数量。 （可见点数量占所有点的比例）
为了找到从当前姿势通过每个视点的最短路径，将此问题公式化为不对称旅行推销员问题（ATSP）。ATSP可以通过设计适当的代价矩阵ΓG，由现有的已证明的算法来求解。因此，我们给出了两个视点之间的成本c_g（v_i^g；v_j^g），考虑了路径长度和偏航变化。

坐标位置转移和偏航变化 分别需要的时间和作为代价函数。
避免代价相似的全局规划路径造成路径优化的不稳定，定义最终的全局规划方向 d_g^last 为当前位置坐标到下一个视点坐标的方向：

全局代价 c_GC(v_gⁱ) : 从当前姿态开始访问整个未覆盖表面的有效全局覆盖路径；

计算整个ATSP的代价矩阵表示为：k=0 表示开始访问整个未覆盖表面的初始位置，初始位置到每一个视点的代价需要考虑全局规划方向和位置偏航角变化代价。所有视点之间的代价只需要考虑位置偏航角变化。

（2）. 质量驱动局部路径规划（数据收集和轨迹生成）

一个三角单元有相邻的两个视点和一个共可见的簇表面的形心组成，路径的立体视觉性能由所有三角测量单元的 重建质量因素Q 的和表示。

重建质量Q由三个因素决定：能见度、相对距离、三角测量角度；Q(v₁; v₂; s) = S_vis · S_dis · S_ang ;
能见度因素 由两个视点对簇表面的可见度决定:其中在两个视点 v₁和 v₂下的簇表面 s ；

相对距离因素 由两个视点到共可见簇表面的形心距离影响，设 dis₁ 和 dis₂ 是从两个视点到曲面质心的距离。使S_dis接近1，两个视点图像中的分辨率相似，从而获得更好的深度估计：

三角测量角度因素 包括准确性和可匹配性，

最后公式化立体视觉启发代价和移动代价：启发代价由重建质量因素Q的倒数表示，Q : 0~1 ;

优化局部路径的质量启动成本，将其公式化为图搜索问题，采用Dijkstra算法搜索最优局部路径，采样视点
的选取满足最小化目标函数：

最后，考虑MVS性能，我们将局部路径PL转换为安全、平滑、动态可行和最短时间的B样条局部轨迹，以实现图像-姿态对的有效集合。

3. 实验

使用合成CAD模型集Houses3K来创建包含部分和完整点云的施工场景数据集，不同建筑类别的12900个模型用Blender生成部分点云，实验与Plan3D(explore-then-exploit)、CAPP (prior-based)和FUEL(exploration-based)三种方法进行了比较。通过 效率(路径长度和时间) 和 重建质量(F-score) 两个指标来评估它们的表现。

重建质量评估 过程和度量
在重建模型和地面真值之间进行点云对齐，以 0.05m 的体素大小对两个点云进行均匀重采样；Precision 表示为接近真实点的重建点的百分比，Recall 定义为接近重建点的真实点的百分比；
设定两点之间的距离小于0.1m，定义为近点。