基于强化学习A2C快速路车辆决策控制

已于 2022-12-12 21:28:11 修改
阅读量1.1k 收藏 8
点赞数
文章标签： pytorch python 深度学习
于 2022-12-12 21:17:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ColinFhz/article/details/128293006
版权

基于强化学习A2C快速路车辆决策控制

在上一篇基于DQN强化学习的高速路决策控制中采用DQN算法进行车辆决策控制，最终并未获得奖励较高的模型，今采用A2C算法进行测试。

依赖包版本

gym == 0.21.0
stable-baselines3 == 1.6.2
highway-env == 1.5

环境配置

查看环境配置：

import gym
import highway_env
from stable_baselines3 import A2C


# Create environment
env = gym.make("highway-fast-v0")

print(env.config)

输出如下：

{
	'observation': {'type': 'Kinematics'}, 
	'action': {'type': 'DiscreteMetaAction'}, 
	'simulation_frequency': 5, 
	'policy_frequency': 1, 
	'other_vehicles_type':'highway_env.vehicle.behavior.IDMVehicle',
	'screen_width': 600, 
	'screen_height': 150, 
	'centering_position': [0.3, 0.5], 
	'scaling': 5.5, 
	'show_trajectories': False, 
	'render_agent': True, 
	'offscreen_rendering': False, 
	'manual_control': False, 
	'real_time_rendering': False, 
	'lanes_count': 3, 
	'vehicles_count': 20, 
	'controlled_vehicles': 1, 
	'initial_lane_id': None, 
	'duration': 30, 
	'ego_spacing': 1.5, 
	'vehicles_density': 1, 
	'collision_reward': -1, 
	'right_lane_reward': 0.1, 
	'high_speed_reward': 0.4, 
	'lane_change_reward': 0, 
	'reward_speed_range': [20, 30], 
	'offroad_terminal': False
}

环境动作空间为：

ACTIONS_ALL = {
        0: 'LANE_LEFT',  # 左转
        1: 'IDLE',       # 宕机（无动作）
        2: 'LANE_RIGHT', # 右转
        3: 'FASTER',     # 加速
        4: 'SLOWER'      # 减速
    }

模型训练

import gym
import highway_env
from stable_baselines3 import A2C


# Create environment
env = gym.make("highway-fast-v0")

model = A2C("MlpPolicy",
            env,
            tensorboard_log="./logs",
            verbose=1)

model.learn(total_timesteps=25000)
model.save("a2c_highway")

训练过程图为：

平均运行长度图平均奖励图由图可知，在训练至10K步左右，模型奖励值逐渐稳定。

模型测试

import gym
import highway_env
from stable_baselines3 import A2C


# Create environment
env = gym.make("highway-fast-v0")

# load model
model = A2C.load("a2c_highway", env=env)

eposides = 10
for eq in range(eposides):
    obs = env.reset()
    done = False
    rewards = 0
    actions = []
    while not done:
        action, _state = model.predict(obs, deterministic=True)
        action = action.item()
        actions.append(action)
        obs, reward, done, info = env.step(action)
        env.render()
        rewards += reward
    print('actions: {}'.format(actions))
    print('rewards: {}'.format(rewards))

模型输出：

actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 22.020221169036347
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 21.020221169036326
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 20.02022116903634
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 21.020221169036326
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 22.020221169036347
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 21.020221169036326
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 22.020221169036347
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 22.020221169036347
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 21.020221169036326
actions: [4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4]
rewards: 20.02022116903634

由输出可知，在环境默认的奖励函数条件下，获取最高的奖励动作为一直执行动作4，根据上述动作空间可知，自车一直执行“减速”动作。对应测试视频如下：highway_fast_a2c.

后记

stable-baseline3: 手册
gym: 手册
highway-env: 手册

Colin_Fang
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
【机哥】基于强化学习的自动驾驶汽车控制器
走向CTO的路上...
06-24 476
具体来说，智能体通过观察环境状态，并在状态空间中选择动作，以最大化预先定义的奖励函数。在自动驾驶汽车控制器中，状态可以包括车辆位置、速度、加速度、方向盘转角等，动作可以包括加速、刹车、转向等。一般来说，可以使用深度神经网络来学习状态表示和动作生成器，并使用强化学习算法（如Q-learning、Actor-Critic等）来学习奖励函数和动作选择策略。同时，也有一些开源的自动驾驶软件，如Apollo、AutonomousStuff等，这些软件中也使用了强化学习等技术。
深度强化学习A2C算法实现
04-28
完整实现A2C算法，包括实现要点、模型构建、虚拟环境交互、模型训练、信息监控等，并亲测在google colab中运行
大规模车辆路径问题的深度强化学习算法研究 mind map
09-02
本文以深度强化学习为基础，设计出一种适用于求解大规模车辆路径问题的模型架 构。采用了预训练模型+基于相对位置的 Transformer网络+A2C强化学习训练框架，为 后续研究大规模车辆路径问题的扩展问题和大规模组合优化问题提供了新的深度强化 学习算法框架。本文中的深度强化学习算法解决了以下问题： （1） 不同规模算例可以共享并继承其他规模训练完的模型，在这种共享模型的机制下， 避免了算例规模相近的模型的重复训练。 （2） 预训练模型能够继承其他规模训练出的模型经验，相对位置节点提高了在大规模 车辆路径问题中特征抓取的精确性，A2C强化学习训练框架环节采用无监督学习， 在无标签训练集中训练中规避经验回溯问题，这三方面针对大规模车辆路径问题 做出的调整，提高了训练效率和收敛效果。 （3） 通过预训练机制解决了大规模车辆路径问题内存溢出的情况，解决了目前已有算 法在大规模算例训练时，内存溢出训练中断等问题。 （4） 与经典的启发式算法和元启发式算法进行比较，在同等求解速度的算法中，本文 算法的求解质量方面全面超越这些算法。并且在当前已有的深度强化学习解决方 案中，本文设计的算法和效
【无人机】【含源码】仿真自主车辆控制的深度强化学习
weixin_42825609的博客
11-12 974
我们研究通过强化学习来使用深度Q学习控制模拟自主车辆。我们首先实现了文献[5]提出的方法，然后尝试各种可能的更改，以提高所选任务的性能。特别是，我们实验了各种奖励函数来诱导特定的驾驶行为、双Q学习、梯度更新规则和其他超参数。我们发现在某些方面能够成功地训练一个代理来控制Javascript Racer [3]中的模拟车辆。我们的智能体成功地学会了转弯操作，逐步获得了在模拟赛道上长时间行驶而不撞车...
基于Qlearning强化学习的小车弧线轨迹行驶控制matlab仿真
最新发布
fpga/matlab/simulink算法仿真工程
06-23 623
状态空间S可以定义为小车的位置坐标x,y)、朝向角θ以及可能的其他因素（如速度、曲率等），即S={(x,y,θ,...)}。基于Q-learning的小车弧线轨迹行驶控制，通过不断试错学习，逐步优化行驶策略，最终实现自主、稳定地沿预定轨迹行驶。Q-learning通过更新Q表来学习在给定状态下采取每个动作的价值，即Q(s,a)表示在状态s下采取动作a后预期累积奖励的估计值。当应用于小车弧线轨迹行驶控制时，其核心任务是让小车自主学习如何控制转向和速度，以在指定的曲线上稳定行驶。
清华最新强化学习 | 混合策略梯度对高级自动化车辆的集成决策与控制
CV_Autobot的博客
12-05 283
作者 | 王汝嘉 编辑|汽车人原文链接：zhuanlan.zhihu.com/p/586586304点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【3D目标检测】技术交流群后台回复【强化学习】获取本文论文！论文思路自我进化是实现完全自动驾驶不可或缺的。本文提出了一种基于集成决策与控制 (IDC) 的自我发展决策系统，该系统是基于强化学习 (RL) 构...
论文研读——基于深度强化学习的自动驾驶汽车运动规划研究综述
爱学习的小王的博客
11-15 6185
论文研读——Survey of Deep Reinforcement Learning for Motion Planning of Autonomous V ehicles 摘要 除了经典的控制设计方法外，人工智能和机器学习方法几乎都存在于这些领域。另一部分研究集中在运动规划的不同层面，如战略决策、轨迹规划和控制。机器学习本身已经开发了广泛的技术，本文将介绍其中的一个领域——深度强化学习(Deep Reinforcement Learning, DRL)。本文深入了解了分层运动规划问题，并描述了DRL的基
用于强化学习的自动驾驶仿真场景highway-env(1)
热门推荐
miya的博客
05-06 1万+
在强化学习过程中，一个可交互，可定制，直观的交互场景必不可少。 最近发现一个自动驾驶的虚拟环境，本文主要来说明下如何使用该environment 具体项目的github地址 一、 定制环境 quickly experience 如下代码可以快速创建一个env import gym import highway_env from matplotlib import pyplot as plt env = gym.make('highway-v0') env.reset() for _ in range(
基于DQN强化学习的高速路决策控制
ColinFhz的博客
12-11 1771
基于强化学习的高速路决策控制研究
基于A2C深度强化学习算法的水下机器人姿态控制python代码.rar
08-29
在本项目中，我们主要探讨的是如何利用A2C（Advantage Actor-Critic）深度强化学习算法对水下机器人的姿态进行控制。A2C是一种在强化学习领域广泛应用的算法，它结合了Actor-Critic方法的优势，即同时更新策略网络...
highway-env:自动驾驶决策的极简环境
08-04
高速公路环境 自动驾驶和战术决策任务的环境集合 高速公路环境中可用环境之一的一集。 环境 高速公路 env = gym . make ( "highway-v0" ) 在这项任务中，自我车辆正在一条多车道高速公路上行驶，该高速公路上挤满了其他车辆。 代理的目标是达到高速，同时避免与相邻车辆发生碰撞。 在道路右侧行驶也有奖励。 高速公路-v0 环境。 合并 env = gym . make ( "merge-v0" ) 在这项任务中，自我车辆从主干道开始，但很快就会接近路口，进入坡道上的车辆。 代理现在的目标是保持高速，同时为车辆腾出空间，以便它们可以安全地并入交通。 merge-v0 环境。 迂回 env = gym . make ( "roundabout-v0" ) 在此任务中，自我车辆是否接近交通流量较大的环形交叉路口。 它将自动遵循其计划路线，但必须处理车
基于深度强化学习的拟人化自动驾驶行为决策研究
02-29
(2)针对驾驶员对驾驶安全性、舒适性和行车效率的需求， 分别基千深度Q网络(Deep Q Network, DQN)和优势演员评论家(Advantage Actor Criti c, A2C)两种深度强化学习算法建立了决策模型。 (3)针对当前自动驾驶决策不够...
基于LunarLander登陆器的A2C强化学习（含PYTHON工程）
12-26
基于LunarLander登陆器的A2C强化学习（含PYTHON工程）基于TensorFlow 参考博客：https://blog.csdn.net/weixin_44584198/article/details/135196790
Python实现自动驾驶
m0_59164304的博客
05-14 1484
一、安装环境 gym是用于开发和比较强化学习算法的工具包，在python中安装gym库和其中子场景都较为简便。 安装gym： pip install gym 安装自动驾驶模块，这里使用Edouard Leurent发布在github上的包highway-env（链接：https://github.com/eleurent/highway-env）： pip install --user git+https://github.com/eleurent/highway-env 其中包含6个场景： 高速公路
【Highway-env】IntersectionEnv代码阅读
sinat_52032317的博客
11-19 1144
方法计算的是合作智能体的多目标奖励。对于每个动作，它计算所有控制车辆的奖励，并将这些奖励按名称聚合起来，然后除以车辆的数量得到平均奖励。这个方法返回的是一个字典，其中每个键都是一个奖励的名称，每个值都是对应的平均奖励。是一个三元组（例，(‘il1’,‘o1’,0)），判断车辆是否在车道上，是否抵达目的地，且是否在车道坐标系中的纵向坐标大于。通过对所有控制的车辆执行某个动作所获得的奖励进行求和，然后除以车辆的数量来得到平均奖励。这部分的代码大致可以分为以下几个部分，我也将从以下几个方面进行分析。
【笔记】stable_baseline 记录输出说明
qq_46248455的博客
01-22 1012
success_rate：训练期间的平均成功率（剧集的平均值，默认为 100），您必须向包装器传递一个额外的参数以记录该值 （） 并在剧集的最后一步提供stats_window_sizeMonitorinfo_keywords=(“is_success”,)info[“is_success”]=True/False。ep_rew_mean：平均剧集训练奖励（剧集的平均值，默认为 100），需要包装器来计算该值（由 make_vec_env 自动添加）。
基于stable-baseline3 强化学习DQN的lunar lander的稳定控制
ColinFhz的博客
12-08 1526
基于stable-baseline3 强化学习DQN的lunar lander的稳定控制
深度增强学习射击类游戏(vizdoom)
人工智能
06-30 2199
深度强化学习玩DoomGame
深度强化学习A2C python
09-11
### 回答1： A2C（Advantage Actor-Critic）是一种深度强化学习算法，它结合了Actor-Critic和Advantage学习的优点，可以用于解决连续动作空间的问题。以下是一个使用Python实现A2C算法的简单示例： ```python import gym import torch import torch.nn as nn import torch.optim as optim # 定义Actor-Critic网络 class ActorCritic(nn.Module): def __init__(self, input_size, output_size): super(ActorCritic, self).__init__() self.common = nn.Sequential( nn.Linear(input_size, 128), nn.ReLU() ) self.actor = nn.Linear(128, output_size) self.critic = nn.Linear(128, 1) def forward(self, x): x = self.common(x) policy = nn.functional.softmax(self.actor(x), dim=-1) value = self.critic(x) return policy, value # 定义A2C算法 def a2c(env, model, optimizer, gamma=0.99, num_steps=5): rewards = [] values = [] log_probs = [] entropys = [] obs = env.reset() done = False while not done: for _ in range(num_steps): obs = torch.FloatTensor(obs) policy, value = model(obs) action = torch.multinomial(policy, 1).item() log_prob = torch.log(policy[action]) entropy = -torch.sum(policy * torch.log(policy)) obs, reward, done, _ = env.step(action) rewards.append(reward) values.append(value) log_probs.append(log_prob) entropys.append(entropy) if done: break _, next_value = model(torch.FloatTensor(obs)) returns = [] advantages = [] R = next_value for r in reversed(rewards): returns.insert(0, R) R = r + gamma * R for v, R in zip(values, returns): advantages.append(R - v) policy_loss = 0 value_loss = 0 entropy_loss = 0 for log_prob, advantage, value, entropy in zip(log_probs, advantages, values, entropys): policy_loss -= log_prob * advantage value_loss += nn.functional.mse_loss(value, torch.FloatTensor([R])) entropy_loss -= entropy loss = policy_loss + 0.5 * value_loss + 0.01 * entropy_loss optimizer.zero_grad() loss.backward() optimizer.step() return sum(rewards) # 使用A2C算法训练CartPole-v1游戏 env = gym.make('CartPole-v1') model = ActorCritic(env.observation_space.shape[0], env.action_space.n) optimizer = optim.Adam(model.parameters(), lr=0.001) for i in range(1000): reward = a2c(env, model, optimizer) print(f"Episode {i}: reward {reward}") ``` 这是一个简单的A2C实现，其中Actor-Critic网络使用了一个共享的中间层，输入是状态，输出是动作策略和状态值。在训练过程中，先通过Actor-Critic网络选择动作和计算状态值，然后使用这些信息计算Advantage和Policy梯度，最后通过Adam优化器更新网络参数。在训练过程中，每个episode的奖励都会被记录下来，可以用来评估算法的性能。 ### 回答2： 深度强化学习（Deep Reinforcement Learning）是一种机器学习的方法，结合了深度学习和强化学习的技术。A2C（Advantage Actor-Critic）是深度强化学习中的一种算法模型，它可以用Python语言进行实现。 A2C是一种基于策略梯度的强化学习算法，其核心思想是通过增强代理（Agent）的策略，来最大化其在环境中获得的累积奖励。A2C的优势在于其可以充分利用计算资源，实现多个代理的并行运行，加快训练速度。 在Python中实现A2C，我们首先需要定义神经网络模型，用于估计代理的动作策略。这个模型可以是一个深度神经网络，接收环境状态作为输入，输出各个动作的概率分布。然后，我们可以使用强化学习的基本原理，在代理与环境之间进行交互，采样得到经验轨迹（experience trajectory）。接着，利用这些经验轨迹，我们可以计算代理执行动作的预期回报，并使用策略梯度方法来更新神经网络模型的参数，提高代理的策略。A2C算法使用Actor-Critic结构，其中Actor用于执行动作，Critic用于估计预期回报并提供策略改进的信号。 实际编程中，可以使用Python中的强化学习框架，如TensorFlow、PyTorch等，来实现A2C算法。例如，可以定义一个神经网络模型的类，利用框架的API构建网络结构，然后编写A2C算法的训练循环，在每个时间步更新网络参数，并与环境进行交互。 总而言之，深度强化学习A2C算法的实现需要定义神经网络模型、构建训练循环、利用策略梯度方法更新网络参数，并结合强化学习的基本原理进行代理与环境的交互。Python语言为如此复杂的任务提供了灵活和高效的开发环境和工具。 ### 回答3： 深度强化学习中的A2C指的是Advantage Actor-Critic的缩写，它是一种使用深度神经网络进行策略优化的算法。这种算法结合了Actor-Critic方法和优势函数(Advantage)的概念，旨在通过优势函数的估计来引导智能体的学习过程。 在A2C中，智能体被建模为一个 Actor(策略网络)和 Critic(值函数网络) 的组合。Actor负责产生动作的策略，而Critic则通过估计状态-动作值函数(或者优势函数)来评估当前策略的优劣。这两个网络共同协作，不断通过与环境进行交互来更新参数，使得策略不断得到优化。 具体来说，A2C使用了基于梯度的优化方法，通过最大化 Critic 网络预测的累积回报来更新 Actor 网络的参数。同时，Actor网络还会通过 Policy Gradient算法来进行更新，使得策略能够更好地适应环境的变化。此外，A2C还使用了经验回放机制，即将智能体的经历存储在一个回放缓冲区中，用于提高采样数据的效率。 在Python中实现A2C算法时，可以使用深度学习框架如PyTorch或TensorFlow来构建Actor和Critic网络，以及定义损失函数和优化器。此外，还需要设计一个与环境进行交互的循环，不断地采样、更新网络参数，并进行策略评估和改进。 总的来说，A2C 是一种深度强化学习算法，通过 Actor-Critic 结构和优势函数的引导，能够在与环境交互的过程中不断优化智能体的策略。在Python中实现A2C算法时，需要使用深度学习框架，定义网络架构、损失函数和优化器，并设计交互循环来进行参数更新和策略改进。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值