IntelliLight: a Reinforcement Learning Approach for Intelligent Traffic Light Control 论文阅读

最新推荐文章于 2025-10-17 17:06:03 发布
最新推荐文章于 2025-10-17 17:06:03 发布
阅读量1.2k 收藏 10
点赞数 3
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36930921/article/details/118189666

IntelliLight 全文脉络

概述

1、本文贡献

1）Experiments with real traffic data.

使用了真实的数据集。

2）Interpretations of the policy.

对选择的政策进行了解释。

3）A phase-gated model learning.

以往的研究都是将phase作为一个特征，还包含有其他的特征如不同车道的车辆数，车辆位置等等。很有可能phase这一特征并没有产生什么作用。例如下图这种情况，两个场景除了交通灯不一致之外，其余完全相同，很有可能模型对这两种情况作出了相同的决策。但实际情况是A希望保持现在的phase，但B希望改变现在的phase。 因此，提出了一种new phase-sensitive【新的相位敏感机制--自译】，包含了记忆宫殿和相位门，两种改进措施。

在这里插入图片描述

2、问题定义

1）State

（1）Traffic light phase
绿灯阶段包含后续的黄灯阶段(3s)，且只能按照指定的顺序变化（1->2->1->2->…）
- Green-WE：WE方向为绿灯，NS方向为红灯
- Red-WE：WE方向为红灯，NS方向为绿灯
（2）Traffic condition
针对每一个车道的，如果路口有多条车道，那么就有多个值
- L ：车道i上的队列长度 Li
- V ：车道i上的车辆数量 Vi
- W ：车道i上的平均等待时间 Wi
- M ：车辆位置的图像表示

2）Action

a = 0：改变相位
a = 1：保持相位

3）Reward

多种因素的加权和
计算公式及系数：
在这里插入图片描述
在这里插入图片描述

解释：
（1）车道排队长度L之和
其中L计算为给定车道上最后一个时间步长的停车车辆总数。低于0.1米/秒的速度被认为是停止。
（2）车道平均等待时间之和W
其中W定义为车辆自上次速度超过0.1m/s以来，以低于0.1m/s的速度行驶的时间(分钟)。基本上，车辆每次行驶的等待时间都重置为0。
（3）信号灯切换次数C

（4）车辆延迟之和D
（5）在动作a后的时间间隔内通过交叉口的车辆总数N
（6）在行动a后的时间间隔内通过交叉口的车辆行驶时间总和，定义为车辆在接近车道上花费的总时间(以分钟为单位) T

3、网络结构

在这里插入图片描述

（1）off-line阶段

使用log来训练系统

（2）on-line阶段

每个时间t系统会得到一些state(例如我们想每5s确定一下是否要改变信号灯的状态), 接着模型根据这些state给出action, 并得到reward. 我们将这些存入memory. 在一些步骤后, 更新模型.

4、phase-sensitive

（1）phase gate 相位门

针对不同的phase，选择不同的模型，突出了特征phase的重要性。
如上图所示，当phase=0时，左侧的模型被激活；
当phase=1时，右侧的模型被激活。

（2）Memory Palace 记忆宫殿

DQN使用经验回放机制，解决样本不是独立同分布和具有强相关性的两个问题。
但对于数据不平衡，抽样的结果也可能是不平衡的。因此，作者使用记忆宫殿方式，将不同的phase-action组合的样本存储在不同的memory库中，然后从不同的宫殿中抽取相同数量的样本，如下图所示。
在这里插入图片描述

5、实验结果说明

1）仿真数据

2）真实数据

A Guide Resource for Deep Reinforcement Learning
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
12-24 992
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
综述文章笔记——《A Survey on Traffic Signal Control Methods》等
One step, One punch
09-11 1866
Traffic Signal Control（TSC） 一些背景知识 为什么要进行TSC TSC传统建模方式 用强化学习算法解决TSC有哪些优点 如何用RL方法框架描述TSC问题 深度强化学习应用到TSC问题的流程 分类依据 如何评估算法 算法的评价标准 仿真环境的选择 路网与车流的设定 未来的研究方向 引用 本文总结的两篇综述文章： 其他综述文章： ...
强化学习在智能交通灯中的应用
huang_shao1的博客
08-18 4212
IntelliLight: a Reinforcement Learning Approach for Intelligent Traffic Light Control introduction 这篇文章是来自KDD 2018的IntelliLight,这篇文章是宾州州立大学黎珍辉老师团队做的，这个团队最近几年在交通领域尤其是交通灯控制方面做了很多研究。 Zhenhui Li 传统的交通灯控制主要有这两类：定时信号控制和车辆驱动的控制方法。最近的研究尝试将强化学习应用于交通灯控制问题。
【论文笔记】IntelliLight智能交通灯：一种基于强化学习的智能交通信号灯控制方法
wjt_0167的博客
10-18 6947
使用深度强化学习技术来进行交通灯控制是一个新兴的趋势，其最近的研究也展现出一些具有前景的结果。然而，现有的研究还没有在现实世界的交通数据上测试其方法，他们只专注于研究奖励而没有解释政策。在本文中，我们提出了一个更有效的深度强化学习模型的交通灯控制。我们在基于监控摄像头获取的一个大规模的真实的交通数据集上测试了我们的方法。我们还展示了一些有趣的从真实数据中学习到的案例研究策略。
读书笔记-Coordinated Deep Reinforcement Learners for Traffic Light Control
能能
10-06 1678
Coordinated Deep Reinforcement Learners for Traffic Light Control 本文研究了交通灯的学习控制策略。在交通灯控制问题引入了一种新的奖励函数，并提出了将DQN算法 与 传输规划transfer planning相结合的多代理深度强化学习方法。通过使用传输规划，它避免了之前多代理强化学习中存在的问题，并且允许更快和更可扩展的学习。它优于早...
2018KDD-IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light Control
苦恼的java小宝的博客
02-21 924
传统的经验重放是随机取，所以很大概率取到频繁出现的状态和动作，Agent就会很好的估计这些状态和动作的奖励，但是忽略了不平常的状态-动作组合，这将导致学习的代理在不频繁的阶段动作组合上做出错误的决定。然而，目前的方法没有考虑实际情况中的复杂情况，因此可能导致陷入一种单一的行动。这些平衡样本将防止不同的阶段动作组合干扰彼此的训练过程，因此，提高网络的拟合能力，以准确预测奖励。缺点：现有的研究都没有使用真实的交通数据，当前研究中的模拟模型通常假设车辆以恒定的速度到达，t时刻的排队长度是所有进场车道上L的总和。
论文记载： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks
gy77
12-30 1220
强化学习论文记载 论文名： Deep Reinforcement Learning for Traffic LightControl in Vehicular Networks ( 车辆网络交通信号灯控制的深度强化学习 )---年份：2018.3 主要内容： 文献综述载于第二节。模型和问题陈述将在第三节介绍。第四节介绍了强化学习的背景，第五节介绍了在车辆网络交通灯控制系统中建立强化学...
读书笔记 - Multi-agent Reinforcement Learning for Traffic Signal Control
能能
10-12 7859
《Multi-agent Reinforcement Learning for Traffic Signal Control》 在本文中，我们将 traffic signal control (TSC) 问题制定为**折扣成本马尔可夫决策过程（MDP）**并应用多智能体强化学习（MARL）算法来获得动态TSC策略。 我们将每个交通信号交叉点建模为独立代理，代理使用基于e-greedy或UCB【3】...
[2018]Deep Reinforcement Learning for Intelligent transportation predictoin.pdf
04-10
智能交通预测 深度强化学习 Intelligent Transportation Systems (ITSs) are envisioned to play a critical role in improving traffic flow and reducing congestion, which is a pervasive issue impacting urban areas around the globe. Rapidly advancing vehicular communication and edge cloud computation technologies provide key enablers for smart traffic management. However, operating viable real-time actuation mechanisms on a practically relevant scale involves formidable challenges, e.g., policy iteration and conventional Reinforcement Learning (RL) techniques suffer from poor scalability due to state space explosion. Motivated by these issues, we explore the potential for Deep Q-Networks (DQN) to optimize traffic light control policies. As an initial benchmark, we establish that the DQN algorithms yield the “thresholding” policy in a single-intersection. Next, we examine the scalability properties of DQN algorithms and their performance in a linear network topology with several intersections along a main artery. We demonstrate that DQN algorithms produce intelligent behavior, such as the emergence of “greenwave” patterns, reflecting their ability to learn favorable traffic light actuations.
智能交通（2）——IntelliLight智能交通灯
保持学习
06-30 1598
一种基于强化学习的智能交通信号灯控制方法
推荐项目：IntelliLight - 智能交通灯控制的强化学习方法
gitblog_00080的博客
06-05 584
推荐项目：IntelliLight - 智能交通灯控制的强化学习方法 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 IntelliLight 是一个基于强化学习（Reinforcement Learning）的智能交通灯控制系统，它在2018年ACM SIGKDD国际数据挖掘与知识发现会议上被发表。该项目提出了一种新的解决方案，旨在优化城市交通流量，减少拥堵，并提高整...
深度强化学习系列: 最全深度强化学习资料
热门推荐
深度强化学习(DeepRL)探索博客
11-14 1万+
关于这项工作: 本工作是一项由深度强化学习实验室(Deep Reinforcement Learning Laboratory, DeepRL-Lab)发起的公益项目，共联合深度强化学习领域的30+位博士，100+位硕士共同完成。 文章同步于Github仓库： https://github.com/NeuronDance/DeepRL/tree/master/A-Guide-Resource-F...
《论文阅读笔记》——Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
一心一意码代码
11-17 2984
来源：arXiv:2005.00935v1 [cs.LG] 2 May 2020 作者：Ammar Haydari, Student Member, IEEE, Yasin Yilmaz, Member, IEEE 单位：the University of South Florida 年份：2020 链接：论文下载链接 关键词 deep reinforcement learning (RL) traffic signal control (TSC) intelligent transportation .
前端环境搭建vue-element-admin-master
weixin_42448406的博客
06-21 3583
一、vue-element-admin-master 1、简介 vue-element-admin是基于element-ui 的一套后台管理系统集成方案。 GitHub地址：https://github.com/PanJiaChen/vue-element-admin 项目在线预览：https://panjiachen.gitee.io/vue-element-admin 2、安装 # 解压压缩包 # 进入目录 cd vue-element-admin-master # 安装依赖 npm instal
VTD信号灯TrafficLight数据解析提取
qq_35308053的博客
03-16 3192
利用VTD作为虚拟仿真软件，并对场景中的信号灯数据进行解析提取，关于场景的搭建可参照官方的`ScenarioEditorRevM.pdf`文档，本文建立在场景已搭建成功的基础上。
idea软件界面的的外观设置-----一般都有三套主题：IntelliJ Light ，Darcula，Windows供选择
qq_36669347的博客
05-16 4047
「机器学习笔记13」无监督学习全面解析：从聚类算法到Python实战
weixin_38291577的博客
10-13 2904
想象你面前有一大堆没有标签的水果，你的任务是根据它们的特征（颜色、形状、大小）自动分成几组。这个过程就是无监督学习的核心思想——让机器在没有明确指导（标签）的情况下，自主发现数据中的内在结构和规律。无监督学习让机器具备了自主探索数据世界的能力。从层次聚类构建的数据家族树，到K-means的高效划分，再到K-medoids的稳健中心点选择，每种方法都有其独特的价值和适用场景。无监督学习的核心是发现数据内在结构聚类质量取决于相似度度量和算法选择K值选择需要结合业务理解和技术指标。
【活动预告】2025斗拱开发者大会，共探支付与AI未来
最新发布
OpenCSG的博客
10-17 959
OpenCSG(开放传神）受邀出席2025斗拱开发者大会，共探支付与AI未来
[JSAC 2018] Energy-Efficient UAV Control for Effective and Fair Communication Coverage: A Deep Reinforcement Learning Approach，复现
09-19
要复现论文[JSAC 2018] Energy - Efficient UAV Control for Effective and Fair Communication Coverage: A Deep Reinforcement Learning Approach，可从以下几个方面着手。 ### 理解论文内容 深入研读论文，明确其研究的核心问题，即通过深度强化学习方法实现高效节能的无人机控制以达成有效且公平的通信覆盖。掌握论文中提出的模型架构、算法流程以及相关理论依据。 ### 数据准备 依据论文描述，准备合适的数据集。可能需要模拟不同的场景，如不同的地理环境、通信需求分布等，以生成用于训练和测试的数据。数据应包含无人机的初始状态、环境信息、通信覆盖目标等。 ### 算法实现 使用合适的编程语言（如Python）和深度学习框架（如TensorFlow、PyTorch）来实现论文中的深度强化学习算法。以下是一个简单的基于PyTorch的深度强化学习代码示例框架： ```python import torch import torch.nn as nn import torch.optim as optim # 定义神经网络模型 class DRLModel(nn.Module): def __init__(self, input_size, output_size): super(DRLModel, self).__init__() self.fc1 = nn.Linear(input_size, 64) self.fc2 = nn.Linear(64, output_size) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 初始化模型 input_size = 10 # 假设输入维度为10 output_size = 5 # 假设输出维度为5 model = DRLModel(input_size, output_size) # 定义优化器和损失函数 optimizer = optim.Adam(model.parameters(), lr=0.001) criterion = nn.MSELoss() # 模拟训练过程 for epoch in range(100): # 这里需要替换为实际的数据 input_data = torch.randn(32, input_size) target_output = torch.randn(32, output_size) optimizer.zero_grad() output = model(input_data) loss = criterion(output, target_output) loss.backward() optimizer.step() if epoch % 10 == 0: print(f'Epoch {epoch}, Loss: {loss.item()}') ``` ### 实验验证 按照论文中的实验设置，对实现的算法进行测试和验证。对比复现结果与论文中的实验结果，分析差异并进行调整优化。 ### 结果分析 对复现结果进行深入分析，评估算法在节能、通信覆盖效果和公平性等方面的性能。如果结果与论文不一致，需要仔细检查代码实现、数据处理等环节，找出问题并解决。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值