td宽度自适应_动态环境下基于DRL的无人车自适应路径规划方法

最新推荐文章于 2024-03-25 09:00:06 发布
最新推荐文章于 2024-03-25 09:00:06 发布
阅读量127 收藏
点赞数
文章标签： td宽度自适应

41a2af037a4972354f1d1a0ce47eae37.png

目录

1. 前言
----1.1 知网链接 2. 主要研究内容 3. D3QN PER算法
----3.1 DQN算法
----3.2 Double DQN算法
----3.3 Dueling DQN算法
----3.4 优先经验回放 4. 环境特征融合方案
----4.1 自身状态信息处理方法
----4.2 激光雷达点云信息处理方法
----4.3 视觉图像信息处理方法
----4.4 环境特征融合方案 5. 实验环境
----5.1 仿真实验环境的搭建
----5.2 小车的动作空间划分
----5.3 算法参数设置
----5.4 奖励函数的设置 6. 效果展示
----6.1 无障碍环境
----6.2 静态障碍环境
----6.3 5个静态障碍+5个动态障碍环境
----6.4 10个动态障碍环境 7. 完整代码
----7.1 Software
----7.2 Installation
--------7.2.1 解决pointgrey_camera_driver编译不过的问题 8. 其他问题

1. 前言

b1b7e76958719a4a59cdc22f1f0782ae.png

初衷是，在环境不是完全已知的情况下，希望行星车具备一定的自适应能力，应对环境发生的变化。所以，基于深度强化学习（Deep Reinforcement Learning, DRL）理论提出了端到端的路径规划方法，直接从传感器信息映射出动作指令再发布给行星车。同时采用不同的神经网络结构分别处理不同的传感器信息，最后将环境特征融合在一起，构成基于D3QN PER的多传感器行星车路径规划方法。

  • 1.1 知网链接
动态环境下多传感器行星车自适应路径规划方法研究 - 中国知网​kns.cnki.net

2. 主要研究内容

主要研究内容如图：

cd0b7f49b718e8808890b867bdf0df8c.png

技术途径：

df687d0fc1d67bc2cdf15e0067eedbcd.png

3. D3QN PER算法

关于强化学习的一些基础知识，推荐大家去看专栏中关于David Silver课程的笔记：

搬砖的旺财：David Silver 增强学习——笔记合集（持续更新）​zhuanlan.zhihu.com
7810f8d218a7040493a0f897b14b5b3b.png
  • 3.1 DQN算法

f4e13a16ca2e1034750853a67806f177.png
2015版DQN

直接来看DQN的损失函数：

其中，

是目标Q网络，参数为
，负责生成训练过程中的目标，即目标Q值
；
是当前Q网络，参数为
；值得注意的是，
和
的网络结构完全一致。

每训练C步， 将当前Q网络的参数完全复制给目标Q网络，那么，接下来C步参数更新的目标将由更新后的目标Q网络负责提供。

具体的实施步骤请参见上图～

  • 3.2 Double DQN算法

173a3c7d0aa348d6719e0640f216979f.png

Double DQN算法主要是为了解决DQN算法中严重的过估计问题，它将目标Q值中动作的选择和动作的评估分开，让它们使用不同的Q网络。

先看Double DQN中的目标Q值：

。

当前Q网络负责选择动作，而带有“延迟效应”的目标Q网络用来计目标Q值，具体的实施步骤请参见上图～

  • 3.3 Dueling DQN算法

b38ccb369d21293b5236f2f15250df98.png

Dueling DQN相比于DQN在网络结构上做出了改进，在得到中间特征后“兵分两路”，一路预测状态值函数，另一路预测相对优势函数，两个相加才是最终的动作值函数。

  • 3.4 优先经验回放

在DQN中使用经验回放的动机是：作为有监督学习模型，深度神经网络要求数据满足独立同分布假设；但样本来源于连续帧，这与简单的RL问题相比样本的关联性增大了不少。 假如没有经验回放，算法在连续一段时间内基本朝着同一个方向做梯度下降，那么在同样的步长下这样直接计算梯度就有可能不收敛。所以经验回放的主要作用是：

克服经验数据的相关性，减少参数更新的方差；
克服非平稳分布问题。

经验回放的做法是从以往的状态转移（经验）中随机采样进行训练，如下图所示，这样操作使得数据利用率高，可以理解为同一个样本被多次使用。

f08a9dc363c34f2661cdebb1cc03d6df.png

优先经验回放（Prioritized Experience Replay, PER）的思路来源于优先清理（Prioritized sweeping），它以更高的频率回放对学习过程更有用的样本，这里使用TD-error来衡量作用的大小。TD-error的含义是某个动作的估计价值与当前值函数输出的价值之差。TD-error越大，则说明当前值函数的输出越不准确，换而言之，能从该样本中“学到更多”。 为了保证TD-error暂时未知的新样本至少被回放一次，将它放在首位，此后，每次都回放TD-error最大的样本。

不过，单独使用TD-error进行PER也存在许多问题。首先，只有被重放样本的TD-error被更新，那么，TD-error较小的样本在第一次被回放后，由于不更新， 它的TD-error会一直被认为很小（其实参数更新后该样本的TD-error可能会变大)， 所以该样本很久都不会再重新被回放。再者，对噪声敏感，bootstrapping会进一步加剧这个问题。最后，PER的样本会集中在一个小范围内，多样性的缺失容易导致过拟合。

为了解决上述问题，结合纯粹的贪婪优先和均匀随机采样。确保样本的优先级正比于TD-error，与此同时，确保最低优先级的概率也是非零的。

首先，定义采样经验

的概率为：

其中，

是第
个经验的优先级；指数
决定使用优先级的多少，当
时是均匀随机采样的情况。

具体的，采用成比例的优先（Proportional prioritization），即

其中，

为 TD-error；
是为了防止经验的TD-error为0后不再被回放。在实现时采用二叉树（Sum tree）结构，它的每个叶子节点保存了经验的优先级，父节点存储了叶子节点值的和。这样，头节点的值就是所有叶子结点的总和。采样一个大小为
的minibatch时，范围
被均分为
个小范围，每个小范围均匀采样，这样，各种经验都有可能被采样到。

为了消除由采样带来的偏差，加入重要性采样（Importance-sampling）。重要性采样权重为

。其中，
用于调节偏差程度，因为在学习的初始阶段有偏差是无所谓的，但在后期就要消除偏差。为了归一化重要性采样权重，使
。

来看一下PER和Double DQN结合后的伪代码：

fe174af393063bf358800a570b08e4d4.png

4. 环境特征融合方案

  • 4.1 自身状态信息处理方法

0b141f2c9f302decd5008127dab23b8c.png

自身状态信息的表示方法请参见上图，它可以表示为一个数组

，其中，
和
为
时刻小车的速度和角速度信息，
和
为
时刻小车相对终点的距离和角度信息。自身状态信息时刻指引着小车向终点移动。
  • 4.2 激光雷达点云信息处理方法

LIDAR产生的点云属于长序列信息，比较难直接拆分成一个个独立的样本来通过CNN进行训练。所以采用LSTM网络来处理LIDAR点云信息，其中cell单元为512个，具体的网络结构如下图所示：

9f44b95d65832a29812051bb676bec4e.png

为了方便，控制LIDAR输出的点云信息为360维，更新频率是50赫兹，探测范围为

，探测距离为
，单位是米，如下图所示：

a63c1b40a4ef5664c274d18274bb3f36.png
  • 4.3 视觉图像信息处理方法

尽管LIDAR擅长测量障碍物的距离和形状，但它实际上并不能用于确定障碍物的类型。计算机视觉可通过分类来完成这项任务， 即给定相机的图像，可以标记图像中的对象。

本文采用CNN处视觉图像信息。输入图像

经过预处理和叠帧（4 帧）后变为
的单通道灰色图。

4a2ed9bf3a3c43ec45e7c3e8feecb0b0.png
原始图像和经过预处理后的图像

这里共采用了三个卷积层，它们分别是 conv1、conv2 和 conv3，具体参数如下：

v2-00535e21178c802a2ef87cc624da9fdc_b.png

卷积层的输入输出示意图如下：

51ed739c5b92b7eb8c3aeb4fd0032156.png
  • 4.4 环境特征融合方案

6f8b5d914e5d52812d6778dcdb439143.png

13a6f80f12545fac86a58743809aaff6.png

5. 实验环境

  • 5.1 仿真实验环境的搭建

基于ROS及Gazebo搭建的仿真实验环境的框架如图所示：

fd119991b266beca69342d8542d6e2de.png

基于此，可以改变Gazebo中的仿真环境，例如加入不同的障碍，也可以改变小车搭载的传感器。

关于如何使Gazebo的仿真速度加快 10 倍，请参考：

搬砖的旺财：将Gazebo的仿真速度加快10倍！！！​zhuanlan.zhihu.com
  • 5.2 小车的动作空间划分

86960978379817926735a5a6497cf7f3.png
  • 5.3 算法参数设置

1f4f0b5ed446c15af8f41370ba5464f9.png

-贪婪法的
参数从初始值1.0开始按照训练步数线性下降
。

很有意思的一件事情，经过测试发现，记忆池的大小和训练步数保持10倍的关系是最好的～

d665a223f9eaa631be861d85c535d933.png

参数按照训练步数线性下降：
。
  • 5.4 奖励函数的设置

5505dd72531af636482e1fcab5da487d.png

6. 效果展示

  • 6.1 无障碍环境
f884c8eb059add8f25e59f2c2cc7c089.png
https://www.zhihu.com/video/1149116716616343552
  • 6.2 静态障碍环境
5aaed7036e6da04c7ba5b0d05c0bc12b.png
https://www.zhihu.com/video/1149115954708570112
  • 6.3 5个静态障碍+5个动态障碍环境
349fef72014c68e9f86a52eac88eec77.png
https://www.zhihu.com/video/1149116257617014784
  • 6.4 10个动态障碍环境
3bdbd344a07ac2476072a5fba919befa.png
https://www.zhihu.com/video/1149115291945521152
82f523046631845f25f80ef875ca07e2.png
https://www.zhihu.com/video/1149115841218990080

7. 完整代码

请点击：CoderWangcai/DRL_Path_Planning

  • 7.1 Software
Ubuntu 16.04
ROS Kinect
Python 2.7.12
Tensorflow 1.12.0
  • 7.2 Installation
git clone https:// github.com/CoderWangcai /DRL_Path_Planning.git （PS：这一步请耐心等待，训练好的model比较大～）
cd DRL_Path_Planning
catkin_make
source devel/setup.bash
roslaunch multi_jackal_tutorials ten_jackal_laser_add_apriltag.launch

出现的便是下面的场景：

e3931ed112be3ca1a084ee94e1c0e037.png

然后，把DRL_Path_Planning/src/tf_pkg/scripts/D3QN_PER_image_add_sensor_dynamic_10obstacle_world_30m_test.py中的路径补充完整：

# 静态障碍下训练好的模型
self.load_path = '.../jackal/src/tf_pkg/scripts/saved_networks/10_D3QN_PER_image_add_sensor_obstacle_world_30m_2_2019_06_02'

（PS：如果需要运行其他python文件，也请将其中的路径补充完整～）

另起一个终端：

python D3QN_PER_image_add_sensor_dynamic_10obstacle_world_30m_test.py

搞定啦，出现的便是训练好的10个动态障碍环境～

  • 7.2.1 解决pointgrey_camera_driver编译不过的问题

catkin_make可能会遇到关于pointgrey_camera_driver的问题：

603080537e9f8d0c8dc488c6454a88f5.png

解决方法如下：

cd src/
git clone https:// github.com/ros-drivers/ pointgrey_camera_driver
cd ..
catkin_make

25430df8b1fb062870fb819a8e844a9a.png

编译到上面这里的时候卡住了，没关系，ctrl+c，然后把刚刚Download的pointgrey_camera_driver文件夹删除，因为现在已经生成相关的消息了，它不起作用了。

catkin_make

没问题啦，整个文件夹都编译过了～

8. 其他问题

如有问题请提issue～

特别鸣谢YP师兄，师兄在整个毕设的过程中，给了我很多技术上的支持，最后也帮我反复修改论文的结构～

请大家批评指正，谢谢～

weixin_39794347
关注
一切皆是映射：DQN在自适应网络流量控制中的应用
程序员光剑
07-13 1009
一切皆是映射：DQN在自适应网络流量控制中的应用 关键词：深度Q网络、强化学习、自适应流量控制、网络拥塞控制、端到端网络 1. 背景介绍 1.1 问题的由来 随着互联网的快速发展,网络流量呈现爆炸式增长,如何高效地
在线学习的深度强化学习——Online Reinforcement Learning for Learning
程序员光剑
09-01 2433
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
自动驾驶技术之路径规划
01-13
无人车的技术路线实际早已确定，那就是轮式机器人的技术路线。这已经从2007年的DARPA大赛到谷歌福特百度的无人车，超过十年的验证，轮式机器人技术完全适用于无人车。目前所有无人车基础算法的研究都源自机器人技术。 首先来说明三个概念，路径规划、避障规划、轨迹规划。路径规划通常指全局的路径规划，也可以叫全局导航规划，从出发点到目标点之间的纯几何路径规划，无关时间序列，无关车辆动力学。   避障规划又叫局部路径规划，又可叫动态路径规划，也可以叫即时导航规划。主要是探测障碍物，并对障碍物的移动轨迹跟踪（Moving Object DetecTIon a
完整代码 | 手把手带撸基于DRL的自动驾驶路径规划算法「AI工程论」
九三智能控
06-24 6258
关注：决策智能与机器学习，深耕AI脱水干货作者 | 搬砖的旺财，地平线机器人算法工程师来源|知乎，https://zhuanlan.zhihu.com/p/79712897报道 |...
论文阅读-2021ICAR-使用具有 DRL 的全局和本地地图信息进行无人机路径规划（点|障|单）
CS_W98的博客
05-01 464
UAV Path Planning using Global and Local Map Information with Deep Reinforcement Learning摘要Introduction主要贡献Problem FormulationA. Environment and Uav ModelB. Target and Mission DefinitionsCoverage Path Planning覆盖路径规划Data Harvesting数据收集Unifying Map-Layer Des
基于DRL的城市TSC 综述笔记（一）
AsmallFROG的博客
10-24 2611
目录问题设定1. State 状态2. Action 动作3. Reward 奖励4. 仿真环境单点深度强化学习方法1. 基本方法2. 改进的方法 问题设定 一般而言，一个或多个Agent控制路网交通信号。 Agent — 交通信号灯 enviroment — 道路交通状态 ttt — 时刻 sts_tst​ — 状态，表示对环境的描述。如车辆位置、速度、排队长等 1. State 状态 离散化交通状态编码。即将交叉口分割为固定长度的网格，通过每个网格中的布尔值确定该位置是否存在车辆。可获得高分辨率交
基于DRL的针对NIDS流级别对抗样本制作方法和对抗训练
Ds的博客
03-14 616
Deep Reinforcement Adversarial Learning Against Botnet Evasion Attacks 摘要简介： 在针对基于ML的网络入侵检测系统（NIDS）的对抗逃避攻击的情况下，我们提出了一种新颖的方法，该方法利用深度强化学习（DRL）来提高依赖于网络流分析的检测器的健壮性。我们的建议允许自动生成现实的对抗性样本，以保留其潜在的恶意逻辑并可以以很高的概率规避检测。通过基于自动生成的样本的对抗训练程序，对检测器进行加固。据我们所知，本文代表了第一个提议，该提议利用深
基于矢量分解的域不变目标检测
9342基于矢量分解的域不变目标检测吴阿明1，2 *刘锐1，2 *韩亚红1，2，3†朱林超4杨毅41天津大学智能与计算学院2天津大学天津市机器学习重点实验室3深圳市4悉尼科技大学AAII ReLER实验室{tjwam，ruiliu，yahong} @ ...
高楼风作用下动态立面的研究
工程6（2020）1443研究架构-文章风作用下具有动态立面的高层建筑Fei Ding，Ahsan KareemNatHaz建模实验室，圣母大学，圣母大学，IN 46556，美国阿提奇莱因福奥文章历史记录：收到2020年2020年6月18日修订2020年7月29...
DRL_Path_Planning开发环境构建
weixin_43316082的博客
12-23 1038
代码链接：https://github.com/CoderWangcai/DRL_Path_Planning 环境配置 Ubuntu 16.04 ROS Kinetic Python 2.7 Tensorflow 1.12.0 安装 \quad首先创建一个名为catkin_ws的工作空间,将DRL_Path_Planning/src/下的文件拷贝到catkin_ws/src/里。 $ mkdir...
Self-Driving-Car:自动驾驶汽车算法
03-26
Self-Driving-Car:自动驾驶汽车算法
汽车自动驾驶技术完整源代码
01-03
美国天才计算机大牛的汽车自动驾驶技术完整源代码，包含完整源代码、深度学习训练好的数据和算法原理PDF。该软件为实践过的，汽车已经在高速路上跑过了！
Gazebo-DRL-Navigation:这是由Gazebo构建的DRL平台，用于机器人导航
05-01
凉亭_DRL_导航 这是由Gazebo构建的DRL平台，用于机器人导航
Python-各种DRL算法的PyTorch实现
08-11
该项目包括用于单个代理和多代理的各种Deep Reinforcement Learning算法的PyTorch实现。
td宽度自适应_一文详解基于深度强化学习的无人车自适应路径规划方法
weixin_39968436的博客
11-22 803
来源| 知乎知圈 |进“高精度地图社群”，请加微信15221054164，备注地图导读：本文选自知乎，作者详细介绍了基于深度强化学习(Deep Reinforcement Learning, DRL)的无人车自适应路径规划方法，并在无障碍环境、静态障碍环境、动态障碍环境下都取得了不错的效果。目录1. 前言2. 主要研究内容3. D3QN PER算法----3.1 DQN算法----3...
【无人机路径规划】基于深度强化学习的多无人机辅助边缘计算网络路径规划（Matlab代码实现）
最新发布
weixin_46039719的博客
03-25 1100
然而，据我们所知，目前很少有现有的工作探讨了如何智能设计移动边缘计算网络中无人机的飞行轨迹，以服务于大量设备，尤其是考虑到设备的动态移动性和无人机与设备之间的动态关联。因此，无人机辅助边缘计算网络是一个自然的选择和有前景的范式，在其中如何优化无人机的飞行路径以满足大量设备的通信和计算需求成为一个重要且具有挑战性的问题。由于其灵活的部署、全面的控制和网络性能，UA V辅助无线通信受到了广泛的研究兴趣UAV辅助的边缘计算网络是有意义的，并且在处理巨大设备的通信和处理需求时是一个有趣的概念。行百里者，半于九十。
自动驾驶路径算法系列：A*算法（含代码）
m0_50019540的博客
05-20 283
这种算法在许多路径搜索问题中被广泛使用，因为它结合了最佳优先搜索和Dijkstra算法的优点，同时避免了它们的缺点。从起始节点开始，计算每个节点的f(n) = g(n) + h(n)，其中g(n)是从起始节点到当前节点的实际代价，h(n)是启发式函数，表示从当前节点到目标节点的预估代价。通过合理的选择启发式函数，A算法可以有效地在大型图中找到最短路径，同时避免了全图搜索的高计算代价。A算法的主要思想是，它使用了一个启发式函数h(n)，来估计从当前节点到目标节点的最小代价。
自动驾驶路径规划算法学习-A Star算法及matlab实现
weixin_39199083的博客
05-19 3780
自动驾驶路径规划算法学习-A Star算法及matlab实现 参考 https://blog.csdn.net/ck_Leo_Libra/article/details/105244795?spm=1001.2014.3001.5506 https://blog.csdn.net/weixin_39199083/article/details/117001590?spm=1001.2014.3001.5501 1. A Star算法原理 A star算法几乎与Dijkstra实现方法一致，不同得是
移动机器人建图与导航代码实现——2.Path Planning
weixin_30528371的博客
05-22 182
Path Planning 这一部分利用RPM算法完成路径规划，即在地图上随机产生点，去掉不合法的点和边后算最短路，再用贝塞尔平滑。 整体分为3步： 1.产生随机点，去掉不合法路径后建图 2.计算最短路 3.平滑 建图和最短路 建图很简单，用均匀分布在已探索过的区域中产生随机点，每个点保留欧式距离最近的几个点连边，检查边的合法性，完成建图。最短路也没什么好说的，因为剩下的边和点都不多，只有几百，什...
请帮我写一段DRL在自动驾驶中路径规划的综述
06-12
DRL可以通过从数据中学习来挖掘行驶经验，从而实现自适应路径规划。以下是一些DRL在自动驾驶中路径规划方面的综述： 1. 基于模型的DRL方法：这种方法使用DRL来学习一个模型，这个模型可以预测车辆在不同行驶场景下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值