Apollp-感知

感知的概述

大量的传感器数据，帮助无人车了解周围。这种了解包括知道自己与周围物体的距离、自己周围物体的速度、周围都有啥、自己在哪等等，一句话便是：发现+识别，从而做出反应。

• 发现：反应到各个传感器
• 识别：反应到人工智能的图像处理方法（卷积神经网络）

计算机视觉

无人车感知世界的四个核心任务

• 检测：框住且截取（静态）
• 分类：比如判别交通指示牌
• 跟踪：持续框住（动态）
• 语义分割：“分类涂色”
  

图像处理过程

以分类为例：

输入：图像
输出：类别

1. 预处理（包括旋转、灰度化等）
2. 提取特征（卷积、池化）
3. 分类（将特征给到分类器，也就是模型，完成分类）

摄像头图像

灰度、彩色（像素矩阵）

激光雷达图像

点云

工作原理：激光雷达向四面八方放射激光，并通过激光的反射构造出周围的世界。
点云：构造时所用到的基本单元被称为点云，点云提供诸如纹理、形状等信息，我们也可以通过这些聚在一起的点云（一个聚类）进行分类。
对比分析之点云和像素：像素会告诉你相机拍出来的世界的色彩、外貌，而人可以通过一些处理，让计算机对其中的物体的纹理、形状进行判别；点云，似乎在色彩信息上能力不强，但或许对于形状、位置方面比较明确、直接。同时也可以发现，激光雷达构造出的世界是三维的，相机是二维的。

机器学习

这部分主要是对一些基本知识做了介绍

• 无监督学习：比如做图像分类（不知道这些图像是啥，但可以不同种类的东西可以区分开来）

• 强化学习：比如让汽车学会右转（汽车会尝试多种方法，但我们只在结果正确时给予奖励）

神经网络

结构：模仿人脑，许多神经元节点相连，组成一个网络。每个节点起到传递、处理数据的功能。

图像与特征：图像上每一个物体都会包含一些自己的特征（我们人对特征的理解，比如车有轮子、特殊的外形、车窗等等，计算机也会知道这些特征；只不过我们看待这些特征是记忆中的图像，而计算机可能是一些像素矩阵）（后面的视频提到说，特征以局部二值模式或者梯度直方图存取）

反向传播算法

• 前馈（将输入数据一步步处理，得到输出结果）
• 误差计算（将输出结果和标签比对）
• 反馈（根据误差反过来对节点一个个进行调节，为的是让结果更加精确）

卷积神经网络

为什么用卷积神经网络？

• CNN对感知问题特别敏感
• 如果是标准的神经网络模型，二维的数据会被重塑为一维的，这回破坏原有的空间信息；而卷积神经网络接收多维数据输入

通过卷积过程提取特征的过程：

检测和分类

使用CNN得到图像特征，进而再决定做检测还是分类

跟踪：

1. 单独的检测，当物体在行进时被其他物体遮挡，会无法检测到；
2. 跟踪还有助于同一类物体的区分（比如不同的车辆）

跟踪分两步：

1. 确认对象
2. 根据对象的速度、原位置，预测下一位置、速度等信息

分割：全卷积网络（FCN）

FCN分析：

• 每一层都是卷积
• 为了最后输出大小与原图像一致，后续需要进行上采样
• 前半部分为编码，提取特征；后半部分为解码，根据特征构造图

Apollo感知

ROI

感兴趣的区域

比如对于交通信号灯，一般就关注右上角，检测到交通信号灯时将其裁剪交给分类网络

感知处理过程

1. 图像给到YOLO模块，该模块分析出车道、动态物体

2. 车道预测信息经过在线校准模块之后，并入虚拟车道这一数据结构中（在线校准模块包含了其他传感器的信息）
   （虚拟车道，是对实际车道的虚拟，还是行驶路线的预测？）

3. 对于动态物体，其他传感器也会给予信息，与YOLO的动态物体信息相融合，推算出距离、速度，从而能够实现预测跟踪，一并归到虚拟路线数据结构中

传感器性能比较

• 相机擅长分类
• 激光雷达善于障碍物检测
• 雷达能够使用的情况比较广

感知融合策略：

• 分为预测、数值更新两个阶段，如此循环

• 数据融合也分为两种：同步、异步

  • 前者：同时更新不同传感器的测量结果
  • 后者：逐个