学习笔记16--红绿灯检测

本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》，笔者不是自动驾驶领域的专家，只是一个在探索自动驾驶路上的小白，此系列丛书尚未阅读完，也是边阅读边总结边思考，欢迎各位小伙伴，各位大牛们在评论区给出建议，帮笔者这个小白挑出错误，谢谢！
此专栏是关于《自动驾驶汽车环境感知》书籍的笔记

---

---

3.红绿灯检测

概述：

1. 红绿灯检测：获取红绿灯在图像中的坐标及它的类别；
2. 如果检测到红灯，无人车在路口等待；如果检测到绿灯，则无人车通过路口；

针对小目标检测算法的改进：

1. 图像金字塔：对训练图片上采样出多尺度的图像金字塔；通过上采样能够加强小目标的细粒度特征，在理论上能优化小目标检测的定位和识别效果；
2. 逐层预测：对于卷积神经网络的每层特征图输出进行一次预测，最后综合考虑得出结果；
3. 特征金字塔：参考多尺度特征图的特征信息，同时兼顾较强的语义特征和位置特征；较大的特征图负责较小的目标检测，较小的特征图负责较大的目标检测；
4. 空洞卷积：利用空洞卷积代替传统的卷积，在提升感受野和不增加额外参数同时，不减少特征图的大小，保留更多的细节信息；
5. RNN思想：参考了RNN算法中的门限机制、长短期记忆等，同时记录多层次的特征信息，但是RNN的缺陷是训练速度较慢；

3.1 基于传统视觉方法的红绿灯检测

3.1.1 基于颜色和边缘信息

步骤：

1. 获取图像帧；
2. 图像预处理，将RGB转换为CIE Lab颜色域、增加红绿灯颜色差距、填充空洞；
3. 候选区域检测，径向对称检测、最大最小定位；
4. 候选区域验证：时空持续性验证；

3.1.2 基于背景抑制

1. 基于背景抑制：通过处理图像浅层特征来区分前景与背景，从而实现背景抑制和红绿灯候选区域获取；
2. 基于背景抑制方法包括：候选区域提取模块和识别模块；
3. 在候选区域提取模块中，使用自适应背景抑制去突出前景从而获取候选区域；
4. 在识别模块中，每个候选区域的特征输入到识别网络中，获得候选框的类别；

3.2 基于深度学习的红绿灯检测

3.2.1 特征金字塔网络(FPN)红绿灯检测

1. 图a(特征化图像金字塔)：通过对图像进行降采样处理，提取每层图像的特征，然后在每层进行预测；
2. 图b(单一特征映射)：借助卷积网络，通过单特征图进行预测，典型应用：Faster RCNN、YOLO等；
3. 图c(金字塔特征层次化)：对不同尺度的特征图分别进行预测；
4. 图d(特征金字塔法)：在多尺度特征图的基础上，结合右侧的上采样进行不同尺度的整合，每层独立预测，通过本层信息和原始特征层信息进行结合；

1. FPN(Feature Pyramid Networks)：利用多尺度特征和从上到下结构做目标检测；
2. FPN想要将语义信息充分的高层特征映射会分辨率较大、细节信息充分的底层特征，将二者以合适的方式融合来提升目标检测的效果；
3. FPN将高层特征利用上采样的方式转化成和底层特征的相同尺寸，同时两者通道数相同，再将底层和高层特征进行元素级相加；

3.2.2 特征融合SSD红绿灯检测

1. SSD结构基于VGG 16的基础网络，SSD不使用最后一个特征映射去预测，而是使用卷积层中的多层中的金字塔特征层次结构来预测具有不同规模的目标；
2. 使用浅层来预测较小的对象，使用深层来预测较大的对象；但较浅层次缺少语义信息，将深层得到的语义信息传递回浅层可以提高小目标的检测性能，同时不会增加太多的计算量；
3. 通过将浅层与深层的特征融合，可以为小目标检测提供丰富的上下文信息；

3.3 高精地图结合

1. 检测算法是通过图像获取红绿灯在图像中的位置，获取红绿灯世界坐标需要结合高精地图；
2. 高精地图：高精度、精细化定义的地图，精度需要达到分米级才可以区分各个车道；
3. 精细化定义：需要格式化存储交通场景中的各种交通要素，包括：传统地图的道路网数据、车道网络数据、车道线和交通标志等数据；
4. 高精地图与红绿灯检测具体结合：
   1. 首先，通过使用检测算法，确定红绿灯在图像中的位置及类别；
   2. 然后，将红绿灯与高精地图上记录的红绿灯进行比对(map matching)，比对后无人驾驶汽车得到红绿灯的世界坐标，确定红绿灯所对应的道路，帮助无人驾驶系统做出正确的决策；
   3. 当无人驾驶汽车因为遮挡或算法等原因无法检测到红绿灯时，高精地图可以告知系统红绿灯的信息，确保行车安全；