IntelliLight: a Reinforcement Learning Approach for Intelligent Traffic Light Control 论文阅读

最新推荐文章于 2024-06-05 10:07:47 发布
最新推荐文章于 2024-06-05 10:07:47 发布
阅读量1k 收藏 10
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36930921/article/details/118189666
版权

IntelliLight 全文脉络

概述

1、本文贡献

1）Experiments with real traffic data.

使用了真实的数据集。

2）Interpretations of the policy.

对选择的政策进行了解释。

3）A phase-gated model learning.

以往的研究都是将phase作为一个特征，还包含有其他的特征如不同车道的车辆数，车辆位置等等。很有可能phase这一特征并没有产生什么作用。例如下图这种情况，两个场景除了交通灯不一致之外，其余完全相同，很有可能模型对这两种情况作出了相同的决策。但实际情况是A希望保持现在的phase，但B希望改变现在的phase。 因此，提出了一种new phase-sensitive【新的相位敏感机制--自译】，包含了记忆宫殿和相位门，两种改进措施。

在这里插入图片描述

2、问题定义

1）State

（1）Traffic light phase
绿灯阶段包含后续的黄灯阶段(3s)，且只能按照指定的顺序变化（1->2->1->2->…）
- Green-WE：WE方向为绿灯，NS方向为红灯
- Red-WE：WE方向为红灯，NS方向为绿灯
（2）Traffic condition
针对每一个车道的，如果路口有多条车道，那么就有多个值
- L ：车道i上的队列长度 Li
- V ：车道i上的车辆数量 Vi
- W ：车道i上的平均等待时间 Wi
- M ：车辆位置的图像表示

2）Action

a = 0：改变相位
a = 1：保持相位

3）Reward

多种因素的加权和
计算公式及系数：
在这里插入图片描述
在这里插入图片描述

解释：
（1）车道排队长度L之和
其中L计算为给定车道上最后一个时间步长的停车车辆总数。低于0.1米/秒的速度被认为是停止。
（2）车道平均等待时间之和W
其中W定义为车辆自上次速度超过0.1m/s以来，以低于0.1m/s的速度行驶的时间(分钟)。基本上，车辆每次行驶的等待时间都重置为0。
（3）信号灯切换次数C

（4）车辆延迟之和D
（5）在动作a后的时间间隔内通过交叉口的车辆总数N
（6）在行动a后的时间间隔内通过交叉口的车辆行驶时间总和，定义为车辆在接近车道上花费的总时间(以分钟为单位) T

3、网络结构

在这里插入图片描述

（1）off-line阶段

使用log来训练系统

（2）on-line阶段

每个时间t系统会得到一些state(例如我们想每5s确定一下是否要改变信号灯的状态), 接着模型根据这些state给出action, 并得到reward. 我们将这些存入memory. 在一些步骤后, 更新模型.

4、phase-sensitive

（1）phase gate 相位门

针对不同的phase，选择不同的模型，突出了特征phase的重要性。
如上图所示，当phase=0时，左侧的模型被激活；
当phase=1时，右侧的模型被激活。

（2）Memory Palace 记忆宫殿

DQN使用经验回放机制，解决样本不是独立同分布和具有强相关性的两个问题。
但对于数据不平衡，抽样的结果也可能是不平衡的。因此，作者使用记忆宫殿方式，将不同的phase-action组合的样本存储在不同的memory库中，然后从不同的宫殿中抽取相同数量的样本，如下图所示。
在这里插入图片描述

5、实验结果说明

1）仿真数据

2）真实数据

奶油松果
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
A Guide Resource for Deep Reinforcement Learning
学-> 思->用
12-24 699
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
【论文笔记】IntelliLight智能交通灯：一种基于强化学习的智能交通信号灯控制方法
wjt_0167的博客
10-18 2824
使用深度强化学习技术来进行交通灯控制是一个新兴的趋势，其最近的研究也展现出一些具有前景的结果。然而，现有的研究还没有在现实世界的交通数据上测试其方法，他们只专注于研究奖励而没有解释政策。在本文中，我们提出了一个更有效的深度强化学习模型的交通灯控制。我们在基于监控摄像头获取的一个大规模的真实的交通数据集上测试了我们的方法。我们还展示了一些有趣的从真实数据中学习到的案例研究策略。
2018KDD-IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light Control
苦恼的java小宝的博客
02-21 435
传统的经验重放是随机取，所以很大概率取到频繁出现的状态和动作，Agent就会很好的估计这些状态和动作的奖励，但是忽略了不平常的状态-动作组合，这将导致学习的代理在不频繁的阶段动作组合上做出错误的决定。然而，目前的方法没有考虑实际情况中的复杂情况，因此可能导致陷入一种单一的行动。这些平衡样本将防止不同的阶段动作组合干扰彼此的训练过程，因此，提高网络的拟合能力，以准确预测奖励。缺点：现有的研究都没有使用真实的交通数据，当前研究中的模拟模型通常假设车辆以恒定的速度到达，t时刻的排队长度是所有进场车道上L的总和。
推荐项目：IntelliLight - 智能交通灯控制的强化学习方法
最新发布
gitblog_00080的博客
06-05 333
推荐项目：IntelliLight - 智能交通灯控制的强化学习方法 项目地址:https://gitcode.com/wingsweihua/IntelliLight 项目介绍 IntelliLight 是一个基于强化学习（Reinforcement Learning）的智能交通灯控制系统，它在2018年ACM SIGKDD国际数据挖掘与知识发现会议上被发表。该项目提出了一种新的解决方案，旨在优...
强化学习在智能交通灯中的应用
huang_shao1的博客
08-18 3796
IntelliLight: a Reinforcement Learning Approach for Intelligent Traffic Light Control introduction 这篇文章是来自KDD 2018的IntelliLight,这篇文章是宾州州立大学黎珍辉老师团队做的，这个团队最近几年在交通领域尤其是交通灯控制方面做了很多研究。 Zhenhui Li 传统的交通灯控制主要有这两类：定时信号控制和车辆驱动的控制方法。最近的研究尝试将强化学习应用于交通灯控制问题。
[2018]Deep Reinforcement Learning for Intelligent transportation predictoin.pdf
04-10
智能交通预测 深度强化学习 Intelligent Transportation Systems (ITSs) are envisioned to play a critical role in improving traffic flow and reducing congestion, which is a pervasive issue impacting urban areas around the globe. Rapidly advancing vehicular communication and edge cloud computation technologies provide key enablers for smart traffic management. However, operating viable real-time actuation mechanisms on a practically relevant scale involves formidable challenges, e.g., policy iteration and conventional Reinforcement Learning (RL) techniques suffer from poor scalability due to state space explosion. Motivated by these issues, we explore the potential for Deep Q-Networks (DQN) to optimize traffic light control policies. As an initial benchmark, we establish that the DQN algorithms yield the “thresholding” policy in a single-intersection. Next, we examine the scalability properties of DQN algorithms and their performance in a linear network topology with several intersections along a main artery. We demonstrate that DQN algorithms produce intelligent behavior, such as the emergence of “greenwave” patterns, reflecting their ability to learn favorable traffic light actuations.
DRN: A Deep Reinforcement Learning Framework for News Recommendation
07-05
### 基于深度强化学习的新闻推荐框架（DRN） #### 摘要与介绍 本文提出了一种新颖的深度强化学习框架用于新闻推荐，旨在解决新闻推荐领域中的动态特性问题。在线个性化新闻推荐面临的主要挑战在于新闻特性和用户...
Deep Reinforcement Learning for Robotic Arm Control: A Survey
03-03
"Deep Reinforcement Learning for Robotic Arm Control: A Survey" 本_survey_论文旨在对基于深度强化学习（DRL）的机械臂控制进行综述。深度强化学习是一种智能体与环境的交互学习策略，在解决复杂决策问题上表现...
Reinforcement Learning-Based Control for Unmanned Aerial Vehicles
01-20
In this paper, we propose a reinforcement learning-based control framework to prevent unauthorized UAVs from entering a target area in a dynamic game without being aware of the UAV attack model....
读书笔记 - Multi-agent Reinforcement Learning for Traffic Signal Control
能能
10-12 7353
《Multi-agent Reinforcement Learning for Traffic Signal Control》 在本文中，我们将 traffic signal control (TSC) 问题制定为**折扣成本马尔可夫决策过程（MDP）**并应用多智能体强化学习（MARL）算法来获得动态TSC策略。 我们将每个交通信号交叉点建模为独立代理，代理使用基于e-greedy或UCB【3】...
读书笔记-Coordinated Deep Reinforcement Learners for Traffic Light Control
能能
10-06 1539
Coordinated Deep Reinforcement Learners for Traffic Light Control 本文研究了交通灯的学习控制策略。在交通灯控制问题引入了一种新的奖励函数，并提出了将DQN算法 与 传输规划transfer planning相结合的多代理深度强化学习方法。通过使用传输规划，它避免了之前多代理强化学习中存在的问题，并且允许更快和更可扩展的学习。它优于早...
《论文阅读笔记》——Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
一心一意码代码
11-17 2318
来源：arXiv:2005.00935v1 [cs.LG] 2 May 2020 作者：Ammar Haydari, Student Member, IEEE, Yasin Yilmaz, Member, IEEE 单位：the University of South Florida 年份：2020 链接：论文下载链接 关键词 deep reinforcement learning (RL) traffic signal control (TSC) intelligent transportation .
深度强化学习系列: 最全深度强化学习资料
热门推荐
深度强化学习(DeepRL)探索博客
11-14 1万+
关于这项工作: 本工作是一项由深度强化学习实验室(Deep Reinforcement Learning Laboratory, DeepRL-Lab)发起的公益项目，共联合深度强化学习领域的30+位博士，100+位硕士共同完成。 文章同步于Github仓库： https://github.com/NeuronDance/DeepRL/tree/master/A-Guide-Resource-F...
前端环境搭建vue-element-admin-master
weixin_42448406的博客
06-21 3366
一、vue-element-admin-master 1、简介 vue-element-admin是基于element-ui 的一套后台管理系统集成方案。 GitHub地址：https://github.com/PanJiaChen/vue-element-admin 项目在线预览：https://panjiachen.gitee.io/vue-element-admin 2、安装 # 解压压缩包 # 进入目录 cd vue-element-admin-master # 安装依赖 npm instal
论文记载： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks
gy77
12-30 960
强化学习论文记载 论文名： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks ( 车辆网络交通信号灯控制的深度强化学习 )---年份：2018.3 主要内容： 文献综述载于第二节。模型和问题陈述将在第三节介绍。第四节介绍了强化学习的背景，第五节介绍了在车辆网络交通灯控制系统中建立强化学...
idea软件界面的的外观设置-----一般都有三套主题：IntelliJ Light ，Darcula，Windows供选择
qq_36669347的博客
05-16 3581
Deep Reinforcement Learning Approach for UAV-Assisted Mobile Edge Computing Networks
04-30
This is an interesting topic. Mobile edge computing (MEC) is a promising technology that enables computation capabilities at the edge of the network, which can improve the latency and response time for various applications. UAVs can be used to enhance MEC networks by providing additional computation resources and mobility. Deep reinforcement learning (DRL) is a powerful technique that has been applied to various problems in recent years, including robotics, games, and networking. The integration of DRL with UAV-assisted MEC networks can lead to more efficient resource allocation and better network performance. In this approach, the UAVs act as mobile edge servers that can offload computation tasks from the mobile devices to reduce the latency and energy consumption. The DRL agent can learn the optimal policy for task offloading and resource allocation by interacting with the environment and maximizing a reward function. The reward function can be designed to balance the trade-off between latency, energy consumption, and network congestion. The DRL agent can also learn to adapt to dynamic network conditions and adjust the policy accordingly. Overall, the integration of DRL with UAV-assisted MEC networks has the potential to improve the performance and efficiency of the network, which can benefit various applications, such as video streaming, augmented reality, and autonomous vehicles.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值