A Deep Reinforcement Learning Network for Traffic Light Cycle Control 【论文阅读】

最新推荐文章于 2021-10-24 16:00:28 发布
最新推荐文章于 2021-10-24 16:00:28 发布
阅读量473 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36930921/article/details/118196586
版权

文章脉络【Dueling DQN+Prioritized Memory ，2019年TVT】

1、贡献

1）首次将dueling network，target network，double DQN 和prioritized experience replay结合在一起。

2）提出了一种在整个周期内确定相位持续时间的控制系统，而不是将时间分段。

3）在SUMO上进行实验。

2、问题定义

1）状态

将路口分割成大小相同的小正方形，每个网格是车辆的状态值**<位置，速度>**。
位置是0或1【有车辆和没有车辆】 ，当该位置有车辆时对应显示其速度值[实数]。

2）动作

改变的是相位的持续时间，每次加5s。最大持续时间是60s，最小是0s。
例如下图，当前位于t1时刻，下一时刻有以下8种变化方案。
在这里插入图片描述
交通信号按照顺序循环变化，两个相邻相位之间需要一个黄灯来作为过渡，黄灯时间计算公式为：道路允许最大速度/车辆减速的加速度
在这里插入图片描述

3）奖励

将奖励定义为两个相邻周期之间的累计等待时间的变化
在这里插入图片描述

3、网络结构

在这里插入图片描述

A、CNN

由三个卷积层和几个全连接层构成，激活函数使用Leacky ReLU。
在这里插入图片描述

B、Dueling DQN

将Q网络分割成两部分：价值函数与优势函数。在实际使用中使用“当前选择动作的优势值减去平均值”，能够提高稳定性。
在这里插入图片描述

C、Target network

采用目标网络帮助指导更新过程，解耦目标值与实际值估计，通过冻结目标值的方式，使神经网络的更新更加稳定。
目标网络参数的更新采取下式：
在这里插入图片描述
加入目标网络后，整个神经网络的损失值表达式为：
在这里插入图片描述

D、Double DQN

为了缓解DQN算法过度估计问题，有学者提出采取当前Q网络的最大动作，而不是选择target网络中Q值最大的对应的动作。
因此，目标Q值的计算公式变为：
在这里插入图片描述

E、具有优先级的经验回放

DQN中最重要的一部分就是经验回放，通过经验回放可以调整抽取样本的分布，使其符合独立同分布，同时可以降低抽取的样本之间的相关性。
样本的优先级【采样概率】常采用两种方式计算：基于比例和基于等级。本文中采用的是基于等级方法，即将转移序列的时间差分误差项作为评价优先级的标准。
TD-error的计算公式如下：
在这里插入图片描述
转移序列i的采样概率：
对转移序列根据TD-error进行排序，优先级就是其排序的倒数。
在这里插入图片描述

F、优化

采用Adam方式？？？

算法整体伪代码

在这里插入图片描述

4、实验

奶油松果
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文记载： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks
gy77
12-30 960
强化学习论文记载 论文名： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks ( 车辆网络交通信号灯控制的深度强化学习 )---年份：2018.3 主要内容： 文献综述载于第二节。模型和问题陈述将在第三节介绍。第四节介绍了强化学习的背景，第五节介绍了在车辆网络交通灯控制系统中建立强化学...
莫烦强化学习视频笔记：第四节 4.5 Prioritized Experience Replay
sophicchen的专栏
11-11 332
1. 要点 本篇教程是基于 Deep Q network (DQN) 的选学教程. 以下教程缩减了在 DQN 方面的介绍, 着重强调 DQN with Prioritized Replay 和 DQN 在代码上不同的地方. 所以还没了解 DQN 的同学们, 有关于 DQN 的知识, 请从这个教程开始学习. 这一次还是使用 MountainCar 来进行实验, 因为这次我们不需要重度改变他的 reward 了. 所以只要是没有拿到小旗子, reward=-1, 拿到小旗子时, 我们定义它获得了 +1...
基于DRL的城市TSC 综述笔记（一）
AsmallFROG的博客
10-24 2587
目录问题设定1. State 状态2. Action 动作3. Reward 奖励4. 仿真环境单点深度强化学习方法1. 基本方法2. 改进的方法 问题设定 一般而言，一个或多个Agent控制路网交通信号。 Agent — 交通信号灯 enviroment — 道路交通状态 ttt — 时刻 sts_tst​ — 状态，表示对环境的描述。如车辆位置、速度、排队长等 1. State 状态 离散化交通状态编码。即将交叉口分割为固定长度的网格，通过每个网格中的布尔值确定该位置是否存在车辆。可获得高分辨率交
Prioritized DQN
JacobJiang的博客
07-07 990
论文链接：https://arxiv.org/pdf/1511.05952.pdf         经验回放（Experience replay）让在线强化学习代理记住和重复使用过去的经验。在之前的工作中，experience replay 是均匀随机取样。然而，这种方法不考虑样本的重要性。Prioritized DQN 使用了一个优先级经验的框架，以便更频繁地使用重要性高的样本，从而更有效地学习。 1）使用 TD 误差的优先级
强化学习-APEX-分布式优先经验回放DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY-强化replaymemory方法
如雨繁辰‘s blog
11-19 6887
这是一篇论文，https://arxiv.org/abs/1803.00933 其概念主要是对传统DQN ,DDPG使用分布式actor获取replay memory数据并进行优先经验回放方法，从而使强化学习网络训练得更有效率（现在强化学习NN训练难度确实很高，效率低，所以要尽可能提升效率，所以这篇文章还是有帮助的），作者主要以atari训练实验来证明其方法的优越性。（毕竟并行化获取经验） 主...
Deep Reinforcement Learning for Robotic Arm Control: A Survey
03-03
"Deep Reinforcement Learning for Robotic Arm Control: A Survey" 本_survey_论文旨在对基于深度强化学习（DRL）的机械臂控制进行综述。深度强化学习是一种智能体与环境的交互学习策略，在解决复杂决策问题上表现...
DRN: A Deep Reinforcement Learning Framework for News Recommendation
07-05
### 基于深度强化学习的新闻推荐框架（DRN） #### 摘要与介绍 本文提出了一种新颖的深度强化学习框架用于新闻推荐，旨在解决新闻推荐领域中的动态特性问题。在线个性化新闻推荐面临的主要挑战在于新闻特性和用户...
[2018]Deep Reinforcement Learning for Intelligent transportation predictoin.pdf
04-10
for Deep Q-Networks (DQN) to optimize traffic light control policies. As an initial benchmark, we establish that the DQN algorithms yield the “thresholding” policy in a single-intersection. Next, we...
deep reinforcement learning
10-25
deep reinforcement learning 深度增强学习课程 深度强化学习（Deep Reinforcement Learning）的资源
Reinforcement Learning-Based Control for Unmanned Aerial Vehicles
01-20
In this paper, we propose a reinforcement learning-based control framework to prevent unauthorized UAVs from entering a target area in a dynamic game without being aware of the UAV attack model....
读书笔记-Coordinated Deep Reinforcement Learners for Traffic Light Control
能能
10-06 1539
Coordinated Deep Reinforcement Learners for Traffic Light Control 本文研究了交通灯的学习控制策略。在交通灯控制问题引入了一种新的奖励函数，并提出了将DQN算法 与 传输规划transfer planning相结合的多代理深度强化学习方法。通过使用传输规划，它避免了之前多代理强化学习中存在的问题，并且允许更快和更可扩展的学习。它优于早...
Multi-Agent Deep Reinforcement Learning for Large-scale Traffic Signal Control
qq_33026195的博客
10-27 2065
目录 摘要 引言 方法 总结 本文将A2C算法与IQL算法结合，应用到多体的交通信号灯领域，并且为了解决部分可观测的、非稳定的问题，采取了综合邻居信息和空间衰减因子的方法。 摘要 对于复杂城市交通网络的适应性交通信号灯控制（adaptive traffic signals control），强化学习（RL）是一种非常有前景的方法，并且深度神经网络进一步增强了它学习的能力。 问题：然而，对于大规模的ATSC，由于联合动作空间的极度高维度，集中化的RL是不可行的。MARL（multi agent
MARL（multi-agent reinforcement learning）的一些边缘文章（imitation、transfer、security等）
mmc2015的专栏
11-07 5783
参考：https://github.com/LantaoYu/MARL-Papers 7.4.2、Inverse MARL [1] Cooperative inverse reinforcement learning by Hadfield-Menell D,Russell S J, Abbeel P, et al. NIPS, 2016. [2] Comparison of Mul
Reinforcement Learning[论文合集]
gdtop的个人笔记
04-07 4951
https://handong1587.github.io/deep_learning/2015/10/09/rl.html Jump to... 1.Tutorials 1.Simple Reinforcement Learning with Tensorflow 2. Courses 3. Papers 1.Surveys ...
深度增强学习方向论文整理
凌风探梅的专栏
11-28 896
本文为知乎专栏作者Alex-zhai原创，已授权CSDN转载。 责编：王艺 一. 开山鼻祖DQN Playing Atari with Deep Reinforcement Learning，V. Mnih et al., NIPS Workshop, 2013. Human-level control through deep reinforcement learni
从强化学习Reinforcement Learning到DQN(Deep Q-learning Network)学习笔记
热门推荐
小鹅鹅的博客
02-17 2万+
前言 本篇博客大概会记录强化学习RL的基础知识，基本方法，以及如何推导到DQN，和关于DeepMind的Playing Atari with Deep Reinforcement Learning(DQN学习打砖块游戏)这篇论文的一些理解，后续改进方向，还有一些具体实现。若有理解不当，恳请指出！ 强化学习基础 强化学习中两大最基本的要素：Agent(智能体)与Environment(环境...
博弈论与多智能体强化学习
weixin_41697507的博客
06-22 1万+
Ann Nowe´, Peter Vrancx, and Yann-Michae¨l De Hauwere Abstract. Reinforcement Learning was originally developed for Markov Decision Processes (MDPs). It allows a single agent to learn a policy that ma...
强化学习（4）：Double DQN、Prioritized Experience Replay DQN和Dueling DQN
zuzhiang的博客
11-21 1130
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来，欢迎大家关注我的 个人博客，以及我的github。 本文主要讲解有关Double DQN算法、Prioritized Experience Replay DQN 算法和 Dueling DQN 算法的相关内容。 对于 DQN 算法的改进主要有三种——Double DQN算法、Prioritized Experience Replay ...
深度强化学习精要：Grokking Deep Reinforcement Learning
"Manning.Grokking.Deep.Reinforcement.Learning.2020.10.pdf - 一本关于深度强化学习的专业书籍，由Miguel Morales撰写，Charles Isbell, Jr.作序，由Manning出版社出版。内容涵盖深度强化学习的理论与实践，旨在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值