深度学习——day5 读论文：（外）面向自动驾驶的深度强化学习：综述

已于 2022-08-29 16:14:31 修改
阅读量668 收藏 6
点赞数 1
分类专栏： 深度学习 文章标签： 自动驾驶 人工智能 深度学习
于 2022-08-29 14:38:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43537420/article/details/126584379
版权

（外）面向自动驾驶的深度强化学习：综述

引言

这篇论文涉及的相关文献与术语非常多，主要是对自动驾驶AD和强化学习RL进行了归纳和总结，可以先看看思维导图这篇论文大概有什么内容，再细看自己感兴趣或了解的部分；反正我就看着挺痛苦，要学的东西也太多！！！！

相关资源下载

点击下载

思维导图

请添加图片描述

随着深度表示学习的发展，强化学习（RL ：Reinforcement Learning）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。
这篇综述总结了深度强化学习（DRL）算法，并提供了采用（D）RL方法的自动驾驶任务的分类，同时解决了自动驾驶代理实际部署中的关键计算挑战。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，这些领域是相关的，但不是经典的RL算法。讨论了模拟器在训练代理中的作用，验证，测试和健壮RL中现有解决方案的方法。

典型自动驾驶系统的组成部分

① Scene Understanding

（场景理解）

从感知模块获得的信息映射到高级动作或决策模块
概念上理解
① 场景理解
② 决策
③ 规划

② Localization and Mapping

（定位和映射）

Key：一旦区域被映射，车辆的当前位置就可以在地图中定位
局部高清晰度地图（HD地图）可用作目标检测的先验

③ Planning and Driving Policy

（规划和驱动策略）

轨迹规划是自主驾驶流水线中的一个关键模块，该模块用于生成操纵代理（汽车;agent）的motion-level命令。

④ Control

控制器定义路径中每个点所需的速度、转向角和制动动作
速度控制
PID（比例积分微分）
车辆/环境的动力学由定义良好的微分方程建模
MPC（模型预测控制）
跟踪指定路径时稳定车辆的行为

自主车辆随机控制领域论文推荐

关于该主题的调查：
[17] S. Kuutti, R. Bowden, Y . Jin, P. Barber, and S. Fallah,
“A survey of deep learning applications to autonomous vehicle control,”
IEEE Trans.
Intell. Transp. Syst., early access, Jan. 7, 2020, doi: 10.1109/TITS.
2019.2962338.

强化学习 RL

机器学习 ML

有监督学习
使用标记数据进行训练以执行分类或回归
无监督学习
未标记数据的密度估计或聚类等技术
强化学习
自主代理通过与环境交互来学习在指定任务中提高其性能

Russel和Norvig将代理定义为
“可以通过传感器感知其环境并通过致动器对该环境起作用的任何东西”

背景：马尔可夫决策过程（MDP）被视为在形式化涉及单个RL代理的顺序决策问题时的事实标准

MDP由一组状态、一组动作、一个转移函数T和一个奖励函数R[22]组成，即元组<S，a，T，R>

挑战：代理在勘探策略的设计
开发 exploitation

（代理选择已知会产生的高回报行为）

  • 随着训练的进行，代理会逐渐进行更多的开发
探索 exploration

（为了发现有益的行为，需要冒险尝试新行为）

  • 代理对环境问题不了解，在训练开始时需要更多探索
算法
Value-Based Methods
  • 基于价值的方法侧重于评估最佳累积回报，并让政策遵循建议
Policy-Based Methods
  • 基于政策的方法旨在直接估计最佳政策
Actor-Critic Methods

  • Actor-Critic Method就是基于价值方法和基于策略方法的结合

  • Actor负责做动作，但它不知道什么动作是好的，而Critic网络能对Actor的动作做出评价。

Model-Based (vs. Model-Free) & On/Off Policy Methods
Deep Reinforcement Learning

基本RL的扩展

基本单代理RL范式的一些主要扩展；本文讨论的许多扩展已被证明可以提高复杂问题领域的可扩展性、学习速度和/或收敛性能。

概述：应用RL的自动驾驶问题

① State Spaces, Action Spaces and Rewards

（状态空间、行动空间和奖励）

② Motion Planning & Trajectory Optimization

（运动规划与轨迹优化）

③ Simulator & Scenario Generation Tools

（模拟器和场景生成工具）

④ LfD and IRL for AD Applications

（从示范中学习 和 逆强化学习在自动驾驶中的应用）

真实场景部署RL的挑战

① Validating RL Systems

（验证基于强化学习系统的性能）

policy gradient methods for continuous control algorithms as well as in reproducing benchmarks

连续控制算法的策略梯度算法（PPO、DDPG和TRPO）及其基准

② Bridging the Simulation-Reality Gap

（弥合模拟与现实之间的差距）

代理在模拟中学习策略。

③ Sample Efficiency

（样本效率）

Reward shaping

（奖励塑造）

通过设计更频繁的奖励函数以鼓励代理从更少的样本中更快地学习
Actor-Critic with Experience Replay（ACER）
利用回放缓冲区，使其能够使用每段样本经验执行一次以上的梯度更新，以及信赖域策略优化方法。
Transfer learning

（迁移学习）

重用源任务的先前训练策略来初始化目标任务的学习
Meta-learning

（元学习）

从少量经验中快速学习新技能，受益于他们对世界的先验知识

④ Exploration Issues With Imitation

（关于模仿问题的探讨）

Chauffernet证明了模仿学习的局限性

M. Bansal, A. Krizhevsky, and A. Ogale, “ChauffeurNet: Learning to drive by imitating the best and synthesizing the worst,”
in Robotics,Science and Systems XV, 2018.

⑤ Intrinsic Reward Functions

（内在奖励函数）

Reward shaping

（奖励塑造）

⑥ Incorporating Safety in DRL

（将安全性纳入深度强化学习算法）

避免在训练后直接在真实环境中部署自动驾驶车辆存在的危险

⑦ Multi-Agent Reinforcement Learning

（多代理体强化学习）

自主车辆组之间的高层决策和协调
高速公路超车场景
无信号控制的交叉口协商等场景
在部署前开发用于测试自动驾驶政策的对抗性代理
制定自动驾驶安全政策

总结

与强化学习（RL）相关的首字母缩写词

想太多!
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于图神经网络强化学习解决车辆路径规划问题（完整代码）
01-17 1272
基于图神经网络强化学习解决车辆路径规划问题（完整代码+报告）
深度学习在自动驾驶中的应用.pdf
08-21
深度学习在智能驾驶中的应用情形，主要讲解当前主要应用。
自动驾驶中的深度学习
qq_29462849的博客
04-30 3532
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达最早使用神经网络来检测车道线，分割地面和驾驶的自动驾驶汽车叫 ALVINN，创建于1989年。Autonomous Land Veh...
自动驾驶RL论文阅读
davidwillsnow的博客
05-25 657
Deep Reinforcement Learning framework for Autonomous Driving RNN/LSTM, HMM/DBN都是基于Bayes Rule+Markov Chain的思想
论文研读——基于深度强化学习的自动驾驶汽车运动规划研究综述
爱学习的小王的博客
11-15 6133
论文研读——Survey of Deep Reinforcement Learning for Motion Planning of Autonomous V ehicles 摘要 除了经典的控制设计方法外，人工智能和机器学习方法几乎都存在于这些领域。另一部分研究集中在运动规划的不同层面，如战略决策、轨迹规划和控制。机器学习本身已经开发了广泛的技术，本文将介绍其中的一个领域——深度强化学习(Deep Reinforcement Learning, DRL)。本文深入了解了分层运动规划问题，并描述了DRL的基
强化学习与自动驾驶-Deep Reinforcement Learning for Autonomous Driving: A Survey
weixin_44230823的博客
04-22 2406
最近一直在看用cv的方法进行轨迹预测，大老板说也许可以用强化学习来做，于是读了21年的 “Deep Reinforcement Learning for Autonomous Driving: A Survey” 这篇文章。接下来把我的理解展现并分享给大家，作为我之后工作的一个可能的基础，也希望能帮助到做自动驾驶的童鞋们~ 原文链接：https://ieeexplore.ieee.org/document/9351818 监督学习在自动驾驶研究中不适用 机器学习分为监督学习、非监督学习以及强化学习（RL）
深度学习技术在自动驾驶中的应用
weixin_55366265的博客
10-28 1027
在过去的十年里，自动驾驶汽车技术取得了越来越快的进步，主要得益于深度学习和人工智能领域的进步。作者就自动驾驶中使用的深度学习技术的现状以及基于人工智能的自驱动结构、卷积和递归神经网络、深度...
对激活函数的解释
LI_XIAO_XING的博客
07-31 606
承接上文，有提到前向传播时的代码： def forward(self,x): x = self.linear1(x) x = self.linear2(x) return x 我没有使用激活函数。若使用的话可以是这样： def forward(self,x): x = sigmoid(self.linear1(x)) x = sigmoid(self.linear2(x)) ...
self_drive car_学习笔记--第12课：基于强化学习的自动驾驶系统
qq_45701501的博客
03-30 1807
前言：本节是自动驾驶系列课程最后一节。首先介绍一个强化学习在无人驾驶里面的应用情况，然后介绍一些比较好玩的强化学习网页版资源，最后简单总结从第1课到目前所介绍的内容。能力比较弱，有些理解错误地方，还望大大们不吝赐教。觉得写得还行，麻烦赏个赞哈。好了，让我们开始这系列最后一节课吧。 概要： 1 机器学习在自动驾驶中的应用 2 DQN 3 DeepTraffic项目 4 课程总结 1机器学习在自动驾驶中的应用 1.1 2019年机器学习趋势 1）2018年是NLP深度学习技术的重要之年：BERT BERT:
毕业设计-深度学习在自动驾驶领域应用
最新发布
Hai_Lang_IT的博客
12-27 3003
毕业设计-深度学习在自动驾驶领域应用：成熟的自动驾驶技术能够极大降低交通事故率，保障驾驶人员与行人的安全，优化交通流运行，但早期的自动驾驶系统可靠性与智能性都很低，不能满足实际应用需求。随着深度学习技术迅速发展，并与自动驾驶领域结合，其在机器视觉、自然语言处理等领域的成功应用使得自动驾驶越来越接近现实。近年来，自动驾驶技术从概念设计阶段向实际应用阶段快速迈进。也有越来越多的企业和研究人员进入自动驾驶赛道，投身到自动驾驶领域的研究中来。但是，自动驾驶技术的推广面临着许多问题，如感知系统中，为数众多的传感器会产
端到端无人驾驶文献学习：ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
Nick_cloud的博客
11-17 1892
ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst1 简介关键点一些相关背景3 模型架构3.1 输入输出表示3.2 模型设计3.3 系统架构4 模仿Expert5 纯模仿学习之外6 实验7 讨论 Bansal, Mayank, Alex Krizhevsky, and Abhijit Ogale. “Chauffeurnet: Learning to drive by imitating the b
深度学习在自动驾驶中的应用
I AM BACK
12-30 1万+
intro Implementation Data for Training Network Simulation Test ResourceintroNvidia在做自动驾驶的时候，思路和传统思路果然有些差异。比如Google使用的是激光雷达+摄像头+IMU+惯导系统+GPS等等。Nvidia做法是采取end2end的方法，就是直接从摄像头的像素->汽车的控制。就是把采集的图片作为输入，汽车的轮子
端到端深度学习与自动驾驶（含参考文献）
热门推荐
自己的学习笔记
12-21 2万+
参考文献见最后。1.自动驾驶系统的分类 Rule based system基于规则的系统, 也有论文中将这样的方法叫做Mediated percepiton approach. Fully end-to-end 端到端的系统, 也有论文中叫做behavior reflex approach. Intermediate approach综合1、 2两种的综合性方法,如 Princeton的DeepDr
自动驾驶前沿综述：基于深度强化学习的自动驾驶算法
Paper weekly
03-15 3012
©作者 | 陈道明学校 | 布里斯托尔大学研究方向 | 自动驾驶方向这是 21 年的一篇综述文章，可以算得上是最前沿的自动驾驶技术综述。这几年随着深度表征学习的发展，强化学习领域也得到了加...
强化学习自动驾驶论文阅读（四）
weixin_45042545的博客
06-25 1320
（一）paper传送门 Reinforcement Learning with Uncertainty Estimation for Tactical Decision-Making in Intersections （二）背景知识 强化学习（RL）-------------------------------《Reinforcement Learning：An Introduction》第二版 Double DQN （DDQN）----------------------https://zhuanlan.
强化学习自动驾驶论文阅读（五）
weixin_45042545的博客
07-03 1054
（一）paper传送门 Explanation Augmented Feedback in Human-in-the-Loop Reinforcement Learning （二）背景知识 强化学习（RL）-------------------------------------------------《Reinforcement Learning：An Introduction》第二版 Human-in-the-loop reinforcement learning（HRL）------https://i
强化学习自动驾驶论文阅读（一）
weixin_45042545的博客
06-14 2869
（一）paper传送门 Guided Policy Search Model-based Reinforcement Learning for Urban Autonomous Driving （二）背景知识 强化学习（RL）---------------------------《Reinforcement Learning：An Introduction》第二版 Gaussian Mixed Model(GMM) --------- https://www.jianshu.com/p/9708bb0676
Tensorflow深度学习入门：从基础到实战
本资源是一份关于AI人工智能中的机器学习和深度学习教学材料，具体聚焦于Tensorflow的基础与进阶知识。课程共分为day04，总共有74页，适合对机器学习技术有需求的学习者，无论是初学者还是希望回顾知识的人都能从中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值