深度学习-自动驾驶

目录

前言

课题背景和意义

实现技术思路

一、深度学习算法

二、 深度学习在自动驾驶中的应用

实现效果图样例

最后

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是毕设专题,本次分享的课题是

🎯深度学习在自动驾驶领域应用

课题背景和意义
成熟的自动驾驶技术能够极大降低交通事故率，保障驾驶人员与行人的安全，优化交通流运行，但早期的自动驾驶系统可靠性与智能性都很低，不能满足实际应用需求。随着深度学习技术迅速发展，并与自动驾驶领域结合，其在机器视觉、自然语言处理等领域的成功应用使得自动驾驶越来越接近现实。近年来，自动驾驶技术从概念设计阶段向实际应用阶段快速迈进。也有越来越多的企业和研究人员进入自动驾驶赛道，投身到自动驾驶领域的研究中来。但是， 自动驾驶技术的推广面临着许多问题，如感知系统中，为数众多的传感器会产生大量不同类型的数据交由主控电脑识别整理，去芜存菁；决策系统中，汽车在行进过程中的每个多样化情境都需要做出合理决策，既要高效快速，又要保证安全，对于决策问题，现行的解决方案包括基于规则的方法（如有限状态机法）和基于学习的方法（深度学习方法及决策树等机器学习方法）。随着深度学习方法在决策支持、图像处理等领域大放异彩，自动驾驶各模块中也越来越多地应用了深度学习算法。
实现技术思路
一、深度学习算法
深度学习通过多层的前馈或者循环网络结构，实现多层网络中大量的参数学习，最终实现对所需要的输入– 输出间复杂映射的逼近。 深度学习与传统神经网络之间的区别在于其深层性与层间连接的多样性。传统神经网络层数一般在 3 层左右，层间一般采用全连接方式，而深层神经网络可达上千层。连接方式包括全连接、延时连接与随机连接等。

卷积神经网络
卷积神经网络是人工神经网络的一个分支， 也是应用最广泛的一类人工神经网络。它通常由一层输入层，多于一层的隐藏层（包含卷积层与池化层）以及一层全连接层和一层输出层组成， 基本结构如图：

 循环神经网络

典型的循环神经网络包括双向循环神经网络（Bidirectional RNN ， Bi-RNN ）和长短期记忆网络（ Long Short-Term Memory Networks ， LSTM）。 RNN 的基本结构如图 3 所示。图中 X 、 S 、 O 都是向量，分别表示输入层、隐藏层和输出层的值；U 是输入层到隐藏层的权重矩阵， V 是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值 S t 不仅仅取决于当前输入 X ，还取决于上一次输入时隐藏层的值 S t -1 。

 RNN 的一般公式表示如下：

生成对抗网络
 GAN 使用无监督学习方式，同时训练生成模型和判别模型。生成模型的目的是产生尽可能消除生成样本与真实样本的差别，判别模型的目的是将生成样本与真实样本区分开，生成网络一般包含逆卷积层，而判别网络一般是 CNN。GAN就是通过两个模块的不断博弈产生需要的结果。

 深度强化学习

强化学习不需要对训练集进行标注，侧重在线学习，因此多用于解决无法严格标注“对错”的问题，如自动驾驶汽车的决策问题。机器学习、深度学习、强化学习、监督学习与深度学习之间的关系如图：

 强化学习框架如图 6所示，标准的强化学习智能体框架由 3 个模块组成：输入模块 I、强化模块 R 和策略模块 P，输入模块读取外部输入，强化模块确定智能体所要达到的目标，一般是使其获得的最终奖励最大，策略模块根据当前状态与强化目标选择智能体所要采取的动作。

 深度学习与自动驾驶技术

深度学习应用的核心目标就是让智能车辆能够像人一样从已有的道路交通资料及规章中学习驾驶技
术，最终达到能够独立安全处理车辆行驶过程中所面临的各类问题的层次。自动驾驶按技术流程
可被分为分解式和端到端式两种解决方案，分解式解决方案包括感知、决策、控制 3 个主要模块。

感知模块接收车载传感器和 V2X 通信获得的环境信息并对其进行处理，包括图像、点云识别与高精度定位等，最终实现对车辆行驶环境的场景理解。决策模块接收感知模块传来的环境信息，结合乘客乘车需求（如时间最短等），规划车辆行驶路径，并进行行驶过程中的行为决策。控制模块则接收决策模块传来的控制指令，实现对车辆的运动控制。而端到端式方案则多使用深度学习技术由所输入的传感器数据直接输出控制指令。

二、 深度学习在自动驾驶中的应用
自动驾驶环境感知中的深度学习

环境感知位于自动驾驶系统和复杂的外界环境之间，是自动驾驶系统进行决策的核心和前提，
其主要功能是为自动驾驶系统提供可靠的外部环境判断，判断自身所处位置和周边驾驶态势。
1）主要的传感硬件

常见的摄像头分为单目和双目两类。单目摄像机结构简单，相机标定也简单，但单张照片难于确定物体的真实大小，只有在移动的情况下，才能推测深度信息。

2）传感器目标检测

自动驾驶汽车能够检测的物体包括各类交通参与者、车道线、交通信号灯，障碍物等。传统的目标检测算法包括 HOG 、 SVM 等，其流程为： （1 ）感兴趣区域提取；（ 2 ）区域内目标特征提取；
（3 ）分类器设计（ AdaBoost/SVM 等）
主要算法包括 YOLO 算法和 SSD 算法，直接用一个端到端的网络得出结果；双级式：双级式是基于区域的算法，先提取出可能包含物体的区域，再进行 BoundBox 的回归，回归出物体在图像中的具体位置，包括 R-CNN 、 Fast R-CNN 、 Faster R-CNN、 Mask-RCNN 、 RFCN 等目标检测算法

 3）图像语义分割

图像语义分割技术已经广泛应用于自动驾驶可行驶区域检测、车辆及障碍物检测等任务中。深度学习在语义分割中取得了巨大成功，图 为应用深度学习技术进行车辆可行驶区域语义分割的结果示例。

4） 高精度定位

定位算法的目的是获得车辆的实时位置及姿态。目前，主流的定位方式是 GPS/IMU 融合， 这类算法精度可以达到米级。

自动驾驶决策规划中的深度学习
1）路径 / 轨迹规划
路径规划是自动驾驶汽车根据地图及传感数据，在起点和终点之间生成行驶路线的能力。目前，深度学习技术主要用于局部路径规划。常用的路径搜索算法包含Dijkstra、Floyd-Warshall、人工势场法、蚁群算法等。常用的路径规划算法流程如图。

2）行为决策
 自动驾驶的决策模块是指狭义的决策系统，其根据车辆感知系统所获得的环境与车辆状态信息，发出合理的行驶指令（加/减速和转向等），并将指令传递给控制执行模块。使用深度 Q 网（Deep Q Network, DQN）的自动驾驶汽车超车策略，DQN 的算法流程如图。考虑直线/大转弯或急转弯两种情况下车辆的超车决策问题，并在TORCS 中进行了仿真实验，表明该算法能够进行合理超车决策。

自动驾驶决策规划中的深度学习

根据接受到的传感器数据，实现无人车辆的自主运动控制是自动驾驶最基本的任务之一。深度学习在此模块中的应用有两种方向，其中之一是利用深度学习进行控制器构建，即根据已有驾驶和环境数据来训练模型，使模型参数更精确，鲁棒性和适应性更强；另一个是基于深度学习的端到端控制系统，利用深度学习进行控制器构建， 直接从传感器输入数据中学习，输出车辆方向盘转角等控制量。

端到端自动驾驶

基于传统“感知—决策—控制”流程的自动驾驶系统的优势在于技术积累深厚，路线清晰可解释性强。但也存在着许多问题，如硬件要求高，并且分解式系统往往十分庞大，系统复杂度极高。为了解决以上问题，将端到端深度学习用于自动驾驶。端到端自动驾驶系统直接从传感数据映射到转向命令 ，能够大幅降低系统 的各项成本。

实现效果图样例
基于深度学习的自动驾驶平台
仿真平台底层基于 TORCS 游戏引擎生成虚拟道路场景，基于 Torch7 机器学习库构建基于深度学习框架的端到端自动驾驶模型，TORCS 与 Torch7 之间通过 ubuntu 的共享内存实现数据互传，游戏引擎将生成的视觉图像信息传给 Torch7 中的端到端自动驾驶模型以生成控制指令，之后再通过共享内存回传控制指令，控制虚拟场景中的自动驾驶车辆在道路上行驶。

实车验证软件平台联合 ROS 、 Apollo、 Autoware 与 Torch7 搭建而成，其中 ROS作为软件平台的底层框架主要支持各个模块之间松耦合通信；基于百度 Apollo 研发适配其他车型的 CANBus 模块，反馈无人车当前的状态（航向， 角度，速度等信息），并且发送控制命令到无人车线控底盘；基于 Autoware 深度研发高精度地图与组合定位结合的自适应定位算法，向上层基于Torch7 的端到端自动驾驶模型提供必要信息

————————————————
版权声明：本文为CSDN博主「HaiLang_IT」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_37340229/article/details/128443364