论文速读 -- LiMoSeg

论文速读 – LiMoSeg: Real-time Bird’s Eye View based LiDAR Motion Segmentation

先赞后看，养成好习惯。有帮助的话，点波关注！我会坚持更新，感谢您的支持！

参考：
1. LiMoSeg
2. SECOND: Sparsely Embedded Convolutional Detection
3. BEVDetNet

一. 摘要

运动目标检测与分割是自动驾驶综合解决方案中的必不可少的任务之一。本文提出了一种新奇的实时点云运动分割网络结构，使用连续三帧点云数据，采用BEV数据表征，表现出像素级的动静二分类。同时，文章中提出了数据增强方法，有效减少动静类间不均衡，使用人工裁剪过去帧静态车辆，合成当前帧运动物体。Nvidia Jetson Xavier平台测试8ms推理速度，定量评估结果可查。

二. 介绍

相比较基于外表几何的物体检测和分割，基于CNN方式运动分割方法还欠成熟。相机能够提供丰富的颜色信息，但是缺乏深度信息和依赖光照条件，lidar在天气和光照首先条件下发挥更大优势。

主要工作：

• 提出了新颖的实时点云运动分割方案，使用BEV表征，分类其每个像素动或者静。
• 引入了参差计算层，利用多帧间运动，提高动静部门的像素值差异。
• 引入一种数据增强技术，通过旋转平移静态物体到连续帧中，达到仿真目的，有效解决类间不均衡问题。

相关工作：
大部分运动分割方案是基于视觉的，也有视觉与激光融合方案，单独用激光模态的方案在最近才流行。传统方法是RANSAC+聚类的方法。场景流的方案对噪声和低速物体不敏感，大部分语义分割需要大量参数。

三. 网络和方法

3.1 输入表征

时间对齐后，采用当前帧与过去两帧（总共三帧），转化为BEV图。
0.1m分辨率，x（0,48），y（-16,16），每帧点云转化为480*320 BEV图。
基于深度（range）表征会缺失距离信息，远处车辆在深度图中看不到。另外深度图表征存在遮挡问题，BEV会克服。BEV另一个优势3D点云重新构建，构建像素索引很容易且方便。下游的规划等模块也是基于BEV空间的，减少相互转换。

3.2 数据增强

常用的数据增强方法是上采样或者真值gt增强的方法。

我们的做法：
对于没有运动物体的帧，我们收集所有属于车辆类别的点集。采用均匀的随机值，采样连续4帧，将静态点集沿着x、y轴进行平移。每一帧中x方向，逐渐递增的平移量会产生一个运动概念。将这些点标记为运动车辆点，与当前帧中运动点合并到一起。

3.3 网络结构

采用BEVDetNet，BEV表征的网络，有一个关键点二分类的头，新建立一个多编码，联合解码的结构，入图1编码。

特征提取模块被称作Downsampling Blocks（DB），使用55,33卷积核获取不同尺度特征。Upsampling Blocks（UB），用于提高输入的空间分辨率，保证了相同维度的输出。我们对输入的连续三帧数据进行独立的编码，送入3个DB模块，不同阶段的结果进行并列和基于乘法的融合。联合编码是为了获取三个流中的相互作用，获取物体的相对位移特征，我们使用基于channel的乘法算子形成特征中的联系。联合解码有4个DB模块取高效计算复杂特征和获取运动信息。

残差层计算运动补偿后的帧间差异，两帧间动静部分便产生了一个视差图。静止物体大范围重叠，此区域获得很大残差值，运动物体部分基本不重叠，此位置残差为0。

四. 结果

数据集：
SemanticKITTI

• 训练集：00-07 + 09-10（至少每帧有20个运动点）
• 验证集：08

loss：
带权重的交叉熵

评价标准：
Iou

消融实验结果