深度学习——day36 读论文：基于深度学习的海洋环境感知

名词解释：

自动识别系统 （AIS automatic identification system）
测距 (LiDAR) 系统
全球导航卫星系统 (GNSS)
惯性导航系统 (INS)
鸟瞰 (BEV)


CNN首次应用于基于激光雷达的海洋环境感知，展示了其在未来在现实世界应用中的巨大潜力。



研究背景：

近年来，使用激光雷达的基于深度学习的对象检测在汽车领域得到了很好的发展，但在海事应用中尚未看到类似水平的复杂发展

研究方法：

基于深度学习的概念，通过使用激光雷达作为主要传感器，AIS作为辅助信息源，用于海洋环境感知
研究成果：
① 提出了一个融合激光雷达检测和AIS消息的多阶段框架，同时考虑了动态对象和静态环境
② 比较了汽车领域的几种CNN结构，选择了一个合适的结构，并将其调整为海上使用
③ 提出了一种基于机器人操作系统 (ROS) 的Gazebo仿真的数据采集方法，以使用仿真数据训练网络。
④ 使用模拟场景和记录在罗斯托克港的真实数据评估了该方法。仿真结果表明，在港口场景中，使用CNN (60.8%) 而不是欧几里得聚类 (32.1%) 的平均精度有显著提高。

训练数据和真实数据集

https://dx.doi.org/10.21227/8z8x-yz12



chap3 方法论


o

3.1 CNN对象检测

o


3.1.1 pointpills结构





图2显示了网络的主要模块和张量。表II和表III分别给出了每个张量的定义，并概述了网络实现过程中参数及其值的定义。


组成：输入生成器，支柱特征网，主干，区域建议网络 (RPN) 头和精炼头。



3.1.2 Pillar Feature Net



使用支柱张量来生成伪图像-画布张量,在每个网格上连接8个特征。使用线性层，然后进行批归一化，ReLU激活和最大池化，提取每个网格中的 n_f 特征，并由canvas张量表示。



3.1.3 Backbone



主干接收画布作为输入，并应用2D卷积操作生成高密度特征图。这包括三个阶段的上采样和下采样块。最后，将三个上采样块的结果串联后，生成具有10 n_f 的高级特征图。

o

3.2 多目标跟踪（MOT）

o


3.2.1 Coordinate Transformation




3.2.2 Object Association




3.2.3 Object Tracking Using Filter Banks





Fig. 6. 滤波器由三个不同的子滤波器组成，它们具有不同的校正机制。然后对每个子滤波器的估计进行积分并反馈。




Static Environment Mapping

o

3.3 静态环境映射

o

静态环境映射以点云为输入，并估计一个多边形来表示静态港口结构的轮廓



chap 4 实验及结果


o

4.1 Simulation Results

o

如表V所示，CNN方法显示出比nonCNN方法更好的性能。在所有方法中，我们适应的pointpills架构实现了最高的平均AP (65.4%)

o

4.2 Real-World Evaluation

o

使用基于CNN对象检测的方法，整体IoU可以保持在一个高水平，达到64%。所提出的管道（图1）可以提供有吸引力的环境感知结果。
