深蓝学院自动驾驶公开课笔记-自动驾驶中感知的挑战与尝试

深蓝学院自动驾驶公开课笔记

第一章 自动驾驶中感知的挑战与尝试
主讲人：邹晓艺@zouxy09
视频链接：https://www.shenlanxueyuan.com/open/course/90/lesson/82/liveToVideoPreview

---

---

前言

小白刚接到某独角兽的感知实习offer，准备踏入自动驾驶领域，接下来开始陆续更新一些学习笔记，以备日后查看。

---

一、Brief Introduction for Perception

1.1 典型的自动驾驶系统

可以把自动驾驶汽车当做一个机器人，机器人要完成人开车的过程中所有感知环境、决策等工作。
一个典型的工作过程是，使用传感器来获取周围环境的数据，感知和定位模块来对这些数据进行处理，结合离线的高精地图，得到周围环境的语义信息和车辆的定位信息，预测模块对周围的障碍物等进行轨迹的预测，pnc模块根据预测结果进行车辆动作的决策和具体的机械控制。这几个模块实际上回答了如下几个问题：

• 我在哪里？（localization）
• 我周围有什么障碍物？（perception）
• 此刻周围有障碍物，我不想碰到他们，该怎么走？（planning and control）
• 怎么走能帮助我到达目的地？（routing）

以上各模块都可以结合高精度地图，得到更加准确的信息。

一个典型的数据处理流如下：

1.2 感知系统框架

传感器获取数据，送入感知模块，感知模块由很多很多模块组成，得到各种各样语义信息，如交通灯、车道线等。

1.3 两种典型传感器比较

激光雷达（lidar）：

• 得到3d点云数据，包括空间坐标、密度等。数据不规则、无序、连续、且随着距离变远变得稀疏，缺乏颜色信息。

相机（camera）：

• 得到2d图像。数据规则、有序、离散、分辨率往往很高，有各种纹理和颜色信息。

二. 感知任务中的挑战

2.1 环境复杂多样。

2.2 类内差距大。

2.3 类间差距小。在lidar里面常见

2.4 可能会出现很多undefined 类别。会有很多corner case。

2.5 环境鲁棒性。沙雾雨雪都带来很多挑战。

2.6 数据噪声。环境、天气变化都可能使得传感器采集的数据带有噪声。

2.7 计算资源的限制。

---

三、DL-based Perception

3.1 基于点云的3D目标检测

Target

• 检测和定位周围的实例
• 返回3D空间坐标、朝向、类别等。

Challenges

• 由于点云会随着距离的增大而变得稀疏，对算法提出更大的挑战。
  
• 使用点云做分割，可能会有不完整的情况。

Methods

• DL-based and data driven
• Rule-based

Voxelization

将连续、不规则的点云数据量化为离散、规则的数据结构， 从而可以使用3D或者2D离散卷积来进行处理。这种方式会丢失很多空间信息，但是高效。

point feature && voxel feature

• 两种特征之间可以互相转换对应
• Voxel Feature 很容易做多尺度

一些paper和代码

- Survey:Deep learning for 3d point clouds: a survey
- LIDAR point-cloud processing based on projection methods: a comparison.
- OpenPCDet（open-mmlab）
- Apollo:cnnseg(思想：使用点云的俯视图+2D CNN+anchor free detector)
- PointPillars: Fast encoders for object detection from point clouds.
- HVNet:Hybird Voxel Network for LIDAR Based 3D Object Detection.
- PV-RCNN:point-voxel feature set abstraction for 3d object detection.
- AFDet: Anchor free one stage 3d object detection.
- Range Conditioned Dilated Convolutions for Scale Invariant 3D object detection.

---

3.2 图像和点云融合

为什么要做融合（Fusion）？

- 点云只能提供物体的shape，没有图像和纹理信息，但在有些场景下，只有shape是不够的。
- 点云可以在各种角度很容易的投影为2d图像，点云和图像之间的关联是很简单的，但不是one-to-one的，往往需要插值。

插值

可以通过双线性插值进行点云和pixel之间的转换。

融合方法

Result-level fusion

特点：

• 在感知结果层面进行信息聚合。
• 便于做sensor冗余。
• 从单个sensor里面进行学习，不能利用不同sensor之间的关系进行辅助。

Feature-level fusion

特点：

• 在多个sensor的输入上进行联合推理，深度融合这些输入的特征。
• 每个sensor都是有优势和劣势的，如何取长补短得到良好的融合效果是目前仍待解决的问题。
• Fusion-level: Roi proposal、Voxel-wise、Pixel-wise 、Point-wise等

一些论文

- Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review.
- MV3D: Muiti-view 3d object detection network for autonomous driving.
- Sensor Fusion for joint 3d object detection and segmentation.
- Pointpainting: Sequential fusion for 3d object detection.
- SemanticVoxels: Sqeuential fusion for 3d pedestrian Detection using LiDAR Point Cloud and Semantic Segmentation.
- Epnet: Enchancing point features with image semantics for 3d object detection.
- MVAF-Net: Multi-View Adaptive Fusion Network for 3D object Detection.

总结

• 图像和点云融合是一个有前景的研究主题。
• 目前效果仍不明显，需要更有效的方法。

---

四、 Rule-Based/Physical Perception

为什么需要physical perception？

• DL-based方法需要well-defined先验，对于undefined 类别，难以进行有效识别。
• 某些物体不适合用BBox描述。
• 总会有corner case。

Methods

• 所见即所得。
• 根据距离来对点云进行聚类。

一个典型的物理感知过程包括：

1. 去除地面。
2. 根据距离对物体进行聚类。
3. Box fitting。
4. 根据不同帧进行速度和box的跟踪等。

存在的问题

• 需要区分移动和静态的物体。
• 在两帧之间，聚类是不稳定的，难以估计不同物体的运动情况。
• 有一些物体存在于点云中，但是并不影响驾驶，如暴雨、灰尘、大车尾气等。这些点云数据定义为噪声。需要去噪。

总结

1. 解决未定义的障碍物的感知问题有必要使用physical perception。
2. 要克服点云中的噪声，并使得算法对超参不敏感。
3. 使用多帧来尽量使得结果更加可靠。
4. 依然要依赖深度学习的方法，两者结合才能发挥更好的效果。

五、Thoughts and Open Problems

5.1 学术界和工业界的鸿沟

学术界的benchmark并不能反应真实的路测效果

• 一些bad cases并不影响真实驾驶。
• 一些确实影响驾驶的因素，并不能在benchmark的指标中体现出来。

一些指标不够完善

如tracking任务没有评估速度。

时延问题

具体应用时，如何在计算资源有限的情况下，保证效果和推理时延。

5.2 数据和模型的泛化性

• 场景非常复杂多样，难以穷举。
• 数据量永远不够。
• 不可解释性，黑盒模型难以跟踪异常、修正case。

总结

感知很有趣！但仍然也有很多问题需要解决~