【论文笔记】Deep Instance Segmentation with Automotive Radar Detection Points

Deep Instance Segmentation with Automotive Radar Detection Points

基于汽车雷达检测点进行深度实例分割

论文连接：https://ieeexplore.ieee.org/abstract/document/9762032/
引用信息：

@article{liu2022deep,
  title={Deep instance segmentation with automotive radar detection points},
  author={Liu, Jianan and Xiong, Weiyi and Bai, Liping and Xia, Yuxuan and Huang, Tao and Ouyang, Wanli and Zhu, Bing},
  journal={IEEE Transactions on Intelligent Vehicles},
  year={2022},
  publisher={IEEE}
}

1 引言

雷达探测点比LiDAR提供更多信息，但分辨率低且点云稀疏，语义上是模糊的，不适合直接使用用于密集LiDAR点开发的方法。（车载雷达区别于激光雷达）

三种常用基于点云的实例分割方法

点云转换为三维网格状，或将其投影为二维网格状表示	需要大量的内存、高计算能力，并且在转换中引入量化误差
基于一维卷积滤波器的神经网络直接处理	克服量化误差，神经网络编码器由于其稀疏性，很难捕捉到雷达探测点的空间交互作用
使用聚类算法来估计哪些点属于同一物体	性能有限，最大限度减少内存消耗，有利于实时处理

两方面挑战：（1）局部信息缺失，如何解决探测点稀疏和模糊性？（2）实时处理，轻量级与高性能？

本文提出：

1. 新引入一个head估计点中心偏移量（CSV）（检测点到几何中心偏移），通过预测检测点向中心点移动的CSV进行分类，提高聚类准确性
2. 语义分割训练过程中余弦相似性CS和归一化内积NIP，loss函数，提高训练确性
3. 引入视觉多层感知器 gMLP（基于带有门控的多层感知器）提高模型表现
4. 平均覆盖率（mCov）和平均精度（mAP）都高于聚类分类和端到端分类；内存消耗和推理时间对汽车MCU可行

3 方法

1. 基于语义分割的聚类

   首先进行语义分割，然后对每一类检测点应用聚类方法（具有不同语义信息的点几乎不属于同一实例）

PointNet++语义分割→→逐点分类分支，标签→→引入CSV向中心偏移 实例分割

• 预测过程：

LSEM：语义分割的交叉熵损失

LSHIFT：CSVs预测的损失（余弦相似性CS loss和归一化内积NIP loss 的和）

1. 视觉多层感知机

SA无法捕捉全局特征，引入视觉MLPs。visual MLPs 继承传统MLPs和visual transformers 的优点，整合到PointNet++的每个SA和FP层中。

2. 采用gMLP

   核心是空间门控单元SGU，根据全局和局部信息对提取的特征进行调整。

4 实验及结果

RadarScenes数据集

• 五个类：汽车，行人，一群行人，大型车辆，两轮车；动态点选取，合并与舍弃

参数设置

• 每一帧点不同数量→随机抽样，统计数字→根据检测点样本大小设置，避免遗漏和计算量过大

对现有方法实验

• 基于聚类的汽车雷达实例分割分类策略：DBSCAN聚类 ， random forest classifier

• 针对密集点云设计的基于深度学习的端到端实例分割方法：

  该模型将三个端点连接到pointnet++，预测相似矩阵S来估计任意一对点属于同一实例的可能性，预测相似置信度映射MCF来估计相似结果的不确定性，预测语义分割映射MSEM来提供每个点的语义信息估计…

结果

以空间坐标、速度(补偿)和RCS值作为输入，报告原始测点的平均覆盖率(mCov)和平均平均精度(mAP)， IoU阈值为0.5 (mAP0.5)，用于最终实例预测。、

变量：损失函数、CSV；注意力机制orMLP

• CSV+CS+NIP： mCov的改善不如mAP：mCov受平均操作影响大，将点移到实例的中心并聚类会增加真阳性预测的数量，这将提高mAP

• 所有模型占用的存储空间都小于1MB到2MB,可嵌入实际系统

• aMLP：在gMLP空间门控单元附加一个微小自注意力模块，提高性能

  将gMLP/aMLP附加到pointnet++后有显著改进

  与ground truth对比，gMLP增强语义分割聚类能得到最准确的结果

• 内存还可以压缩：使用分组卷积代替pointnet++中的传统卷积，降低gMLP块中空间门控单元输入维数

5 结论

基于pointnet++和DBSCAN的基于语义分割的聚类，优化模型参数和损失函数的基础上，引入了gMLP/aMLP并增强