ICRA2021论文阅读-多传感器融合语义slam

本文主要介绍了近期自己阅读的一篇IROS2020和四篇ICRA2021顶会论文。

作为自己的笔记使用，如果存在错误，期望各位读者指出。

《AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot》--华为-秦通-IROS2020

主要使用的特征有：车道线，停车线，路面指示标记等语义信息。

算法的两个模块：地图构建与视觉定位。

地图构建：IPM，输入的图像分别来自前视、后视、两个侧视，采用逆投影变换，将来自四个广角摄像头的图像合成一张IPM图像。IPM变换其实可以理解为有一个虚拟相机从车上面朝下看。

特征提取：使用U-Net，对合成IPM图像的每一个像素输出一个标签。

局部建图：每30米建立一个小的地图，其实就是把原来在车体坐标系下的语义特征变换到世界坐标系。

回环检测和全局建图：使用ICP计算每个局部地图和周围的局部地图的相对变换，然后使用pose graph做全局优化，优化的变量为局部地图的位姿。

语义定位：IPM和语义分割，然后通过ICP找到当前这个局部地图的构建好的全局地图做匹配，得到车辆相对于地图的姿。

U-Net：整体流程是编码和解码。降采样；上采样；复制+剪切特征图；作者做了平移、旋转、形变、灰度处理，尤其是随机形变起到了重要作用。

《Any Way You Look at It: Semantic Crossview Localization and Mapping With LiDAR》--美国宾夕法尼亚大学-ICRA2021

利用深度信息和几何信息结合的方法进行的一种多传感器融合的语义建图方案。

主要的贡献：1.一个实时的跨视图定位和建图框架，使用语义地图进行定位；2.使用了带有噪声真实的数据进行验证；3.开源了代码https://github.com/iandouglas96/cross_view_slam。

两个主要的部分：一个基于ICP的LiDAR SLAM系统(UPSLAM)、一个基于粒子滤波的语义定位。

定位：蒙特卡洛方法基础上采用定制的优化策略来减轻计算成本，主要采用了粒子滤波器的方法，该方法擅长处理多峰态分布。问题描述、运动模型、度量模型、性能优化。

语义分割：卫星分割：使用在ImageNet上预训练的ResNet-34训练两个完全修改的全卷积网络(FCN)，用来分割卫星地图；扫描分割：对KITTI数据集，使用与卫星分割相同的FCN结构，对自己的Morgantown和UCity数据集，使用在Cityscapes上训练的HRNets分割校准到LiDAR的RGB图像上。

建图：UPSLAM使用迭代最近点(ICP)估算LIDAR传感器的运动，并附加到关键帧的全景深度图的集合表示整体几何形状，这些关键帧相互链接以形成位姿图。本文作者扩展了UPSLAM，从图像中提取语义标签，形成语义全景图。将UPSLAM自我估计用于粒子滤波器模型，然后计算每次更新后的粒子滤波器估计的协方差和均值。

实验环节主要通过性能推理、准确性、收敛性、Ablation Study（通过控制变量来证明算法的有效性）。

《Hybrid Bird’s-Eye Edge Based Semantic Visual SLAM for Automated Valet Parking》--上海交通大学-ICRA2021

本文提出一种语义SLAM框架，在鸟瞰图上利用混合边缘信息，设计了不同的分割方法，消除嘈杂的眩光边缘和扭曲的对象边缘，作者提出的方法可以大大减少标签的负担，实现更高的准确率和更强大的性能。

通过逆透视地图IPM从四个鱼眼图像中合成一张鸟瞰图；作者提出的方法结合经典的无监督边缘检测器和一组基于基于IPM的边缘分割方法；

三个组成部分：鸟瞰图边缘特征提取、建图、里程计

鸟瞰图边缘特征提取：从输入图像中检测原始边缘，然后是基于IPM的边缘分割（基于射线的分割、基于线段的分割、基于折线的分割）

语义的里程计和建图：对鸟瞰边缘进行分割之后，使用校准的比例因子将他们转换为欧几里得空间中的点云，利用两类边缘（鸟瞰边缘和自由空间边缘）的混合点云，可以建立语义SLAM系统。

局部地图生成：克服单帧估计的局限性，使用连续帧中累积提取边缘，构建局部边缘图；应用滑动窗口融合删除已添加到局部地图中的不正确分割的边缘。

位姿估计：通过轮式里程计将当前帧中的边缘点投影到本地地图，然后使用最近邻搜索建立数据关联，然后利用公式1求解当前位姿。

全局地图：从局部地图和车辆的全局轨迹中导出全局地图。

实验：自己录制的地下停车库的数据集；评估了不同分割方法在提取混合鸟瞰边缘方面的性能，通过定性分析和定量分析；里程计和建图。

《PSF-LO: Parameterized Semantic Features Based Lidar Odometry》--阿里巴巴达摩院--ICRA2021

文章提出一种基于自我设计的参数化语义特征（PSF）的新颖的语义激光雷达测距方法，以实现实时的自动驾驶汽车的低漂移自我运动估计。使用卷积神经网络获取逐点语义，使用语义标签分割物体，进行拟合获取相应的PSF。设计了一种可以准确识别和删除动态对象的方法，将静态保留在语义点云中。

主要贡献：1.设计四种轻量级PSF：道路、建筑物、交通标志和杆状，抽象精确参数化各自的语义地图；2.联合PSF和GeF实现一种低漂移的实时LO系统，利用几何之外的语义来提高LO的准确性；3.设计了动态和静态对象分类器，在配准过程中识别并删除动态物体，从而进一步消除LO漂移。

相关工作：基于几何的方法（基于特征的匹配方法和基于网格的匹配方法）；基于机器学习的方法；语义辅助方法（利用自行设计的PSF来完善GeF匹配，并实例级别对障碍点的静态和动态进行分类。

概述：使用RangeNet++进行语义分割，随后使用GeF提取和匹配主要遵循LOAM，之后从道路、建筑物、交通标记和杆状点云提取PSF优化GeF匹配。

PSF提取：道路PSF：将空间划分为一系列网格，进行RANSAC平面拟合，使用最接近点形式，计算所有直方图的最小封闭矩形，完成道路PSF的提取；建筑物PSF：使用2D网格对其进行分段，在每个建筑物网格中执行多次PSF提取，直到剩余点数小于阀值；交通标志PSF：使用欧几里得聚类进行分段，采用多平面提取处理多表面标志；杆状PSF：在极点点云上进行欧几里得聚类，为每个聚类实施3D线RANSAC拟合。

基于PSF的激光雷达里程计： 利用语义信息对LOAM进行两点改进：过滤不可靠的拐角和添加语义一致性惩罚。

动态和静态对象分类：基于tracking-by-tracking框架的方法，包括四个部分：对象提取器，关联，速度估计，动态和静态对象分类。对象提取器：使用参考文献[33]的方法对分离的对象点进行聚类；关联：基于目标点云中心距离利用贪婪算法进行数据关联；速度估计：一种基于垂直平面的点采样算法；特征提取器：在点云匹配不稳定时利用他们两者进行动力学估计，使用速度不确定性建模来测量点云匹配的质量，利用贝叶斯过滤器生成最终的静态分数；HMM解码器：HMM（隐马尔可夫模型）用于处理分类问题，

实验：动态和静态对象分类实验：在KITTI里程计基准上测试PSF-LO；四个线程并行处理：一个线程用于RangeNet++的语义分段，其运行时被忽略，一个线程用于提取GeF和PSF以及对动态和静态对象进行分类，一个线程用于GeF帧间匹配，一个线程用于GeF和PSF的帧到子图匹配。

《Road Mapping and Localization using Sparse Semantic Visual Features》--阿里巴巴--ICRA2021

利用稀疏语义特征的道路定位和建图

作者提出一种集成了级联的深度模型来检测标准化的道路元素，通过深层关键点对路灯和路标进行建模，通过分段三次样条曲线对车道进行参数化，包括三个部分：图像处理前端，传感器融合策略，优化后端。

主要贡献：1.卷积神经网络（CNN）支持的图像处理前端可以提取语义特征，2.参数化道路元素和设计损失函数，3.可以用于离线建图和在线定位的语义优化模块。

系统概述：作者的系统是紧密结合的状态优化框架，具有批处理和滑动窗口策略。离线构建语义地图，在线进行定位；语义实体包括：水平对象，地面对象和车道。

道路特征的选择：道路两旁的灯和交通标志、地面上的标志、地面上的实线车道和虚线车道。

道路特征的检测：网络设计：使用DLA-34和DCN模块作为特征提取的主干；1.对象框和关键点检测，2.车道检测，3.虚线的弯道检测。

语义实体的特征跟踪：使用Hungarian匹配策略以像素空间实例方式和像素方式将地面要素关联起来，对于在垂直物体（如两极）中检测到的关键点，我们使用光流方法在帧间进行跟踪。

车道的表示和初始化：使用分段三次Catmull-Rom样条曲线通过一系列控制点来表示每个3D车道的左右轮廓。

状态估计器设计：为了将语义实体添加到紧密耦合的视觉惯性里程表中，引入五种新的可优化变量类型。基于检测到的和跟踪的语义特征添加三种类型的约束：点观察因子、线条观察因子、共面先验因子。初始化地面和极地对象、初始化线条、离线的建图案例、在线的定位案例

重识别和特征合并：执行的不是逐帧词袋查询而是3D-3D关联以重新识别语义对象

语义地图的数据结构：存储语义标签以及所包含的深点和GFTT点的3D位置，FREAK描述符和逐帧描述符都没有存储在我们的语义图中。

基于语义地图的定位：用状态机评估在线定位的姿态质量，并根据此执行不同的策略。

实验：一个公开数据集KAIST和一个自我记录的数据集；知觉模型的训练和表现；定位和建图的评估：1.实验设置：两点区别：在离线建图最终BA之后，我们对语义执行空间重新标记，因此需要进行一轮最终的BA、在线定位的框架和地图关联期间将经典序列地图局部特征关联替换为存储在语义地图中的序列化语义特征。2.自我重定位。3.Cross重定位。4.模块化和效率分析。5.语义地图的稳定性。