基于强化学习中的策略梯度方法解决Pong游戏问题

最新推荐文章于 2022-10-30 12:16:46 发布
最新推荐文章于 2022-10-30 12:16:46 发布
阅读量845 收藏 1
点赞数
文章标签： paddlepaddle 强化学习 深度学习 游戏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wienparis/article/details/106975776
版权

项目任务

基于强化学习中的策略梯度方法PolicyGradient解决打乒乓球游戏问题。预期效果：分数从-21开始逐渐上涨收敛，Test reward的分数可以收敛到0分以上（说明打败对方了），越高越好。该项目使用百度的PaddlePaddle框架在百度的在线平台aistudio上完成。

Step1 安装依赖

安装依赖

Step2 导入依赖

导入依赖

Step3设置超参数

设置超参数

Step4 搭建Model、Algorithm、Agent架构

网络模型采用全连接神经网络。
全连接神经网络作为网络模型
直接使用百度强化学习库parl中的策略梯度算法。

最低0.47元/天 解锁文章
wienparis
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
deep-reinforcement-learning-atari-pong:强化学习DQN算法的PyTorch在OpenAI Atari Pong游戏中的应用
03-12
Atari Pong中的深度强化学习算法 概括 此应用程序的目标是找出深度Q学习（DQN）在OpenAI环境中对Pong的Atari 1600游戏有多准确和有效。 在DQN之上，测试了对相同算法的其他改进，包括多步DQN，Double DQN和Dueling DQN。 从下图可以看出，基本DQN仅需玩约110场游戏即可达到类似于人的准确性，而经过300场游戏即可达到极高的准确性。 此项目中考虑的DQN改进版本显示出效率和准确性方面的一些改进。 基本DQN：第1集与第216集 环保环境 Atari 1600仿真器由OpenAI制作，您可以在59种不同的游戏上测试您的强化算法。 使用深度强化学习，因为输入是当前帧（210x160x3）的RGB图片。 由于RGB图片的计算量太大，因此变成了灰度。 接下来是将图像缩减采样并将其剪切到可播放区域，该区域的大小为84x84x1。 灰度，下采样和裁剪
【强化学习】在Pong环境下实现策略梯度
wongwongwong
03-02 3021
问题描述： 确定环境中的最佳操作的规则叫做策略，学习这些策略的网络称为策略网络。 代码展示： import numpy as np import gym import tensorflow as tf import matplotlib.pyplot as plt #Pong env env = gym.make("Pong-v0") observation = env.reset() for i in range(22): #20 帧之后发球 if i>20...
深度强化训练：从像素点发出的Pong
dujiahaogod的博客
02-26 564
这是一篇报道Reinforcement Learnning（RL）的博客。RL是很热门的！你可能已经注意到，电脑现在可以自动学习玩ATARI游戏（从原始的 pixelsi游戏中!），他们模拟的四足动物击败了世界冠军，学习了跑步和跳跃。而且机器人正在学习如何执行复杂的操作任务，而这些复杂的操作是违反了明确的程序的。在RL研究框架下，所有这些进步都是在过去的一年中对RL产生了兴趣。我通过Richard...
RL之PG：基于TF利用策略梯度算法玩Cartpole游戏实现智能得高分
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-23 1万+
RL之PG：基于TF利用策略梯度算法玩Cartpole游戏实现智能得高分 目录 输出结果 设计思路 测试过程 输出结果 视频观看地址：强化学习—基于TF利用策略梯度算法玩Cartpole游戏实现智能得高分 设计思路 测试过程 Episode: 1 ~ 5 Average reward: 15.000000. Episode:...
【百度AI强化学习系列】四、基于策略梯度求解RL（用PG解决Pong）
风月同天的博客
06-26 718
目录Policy Gradient公式推导期望回报优化目标与策略梯度项目练习（PG解决Pong）实战要求网络结构老师解决方案Github Policy Gradient 在强化学习中，有两大类方法，一种基于值（Value-based），一种基于策略（Policy-based），Policy Gradient属于后者。PG不需要想DQN那样对Q值进行拟合，它直接拟合出Agent下一步的动作，这就和端到端的神经网络一样，没有中间环节，如下图所示。 公式推导 期望回报 在一个Episode中。Agent的活动
多种深度强化学习算法在雅达利游戏pong中的设计与实现
06-03
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习的表征能力与强化学习的决策制定策略，能够处理复杂的连续性问题。本项目聚焦于在雅达利游戏“Pong”中的应用，这...
基于强化学习与深度强化学习的游戏AI训练.zip
最新发布
02-19
这个名为"基于强化学习与深度强化学习的游戏AI训练.zip"的压缩包文件，很显然提供了关于如何使用这些技术来训练游戏AI的项目实践内容。下面将深入探讨这两个关键领域的理论、应用以及它们在游戏AI中的作用。 首先，...
Gym下的小游戏的强化学习
02-02
7. **动态规划（Dynamic Programming）**：在完全可观察且离散的环境中，解决强化学习问题的一种方法。 8. **蒙特卡洛学习（Monte Carlo Learning）**：基于样本平均的无模型学习方法，通常用于解决非确定性环境。 9...
reinforment leaening pong.rar
01-23
在本项目“reinforment leaening pong.rar”中，我们看到一个基于PyTorch实现的强化学习应用，具体是针对经典游戏Pong的。Pong是一款双人对打的乒乓球游戏，对于AI来说，它提供了一个简单的环境来测试和展示强化学习...
Reinforcement-learning-with-tensorflow-master_强化学习算法；莫烦_
09-30
- **Atari游戏**: 常用于测试强化学习算法的复杂环境，如Breakout和Pong。 - **连续控制任务**: 如 Mujoco 或 PyBullet 环境中的机器人控制问题。 5. **调试和评估**： - **回放缓冲区（Replay Buffer）**: 在...
Python-PyTorchv040实现了典型的策略梯度PG算法
08-09
Policy Gradient algorithms (REINFORCE, NPG, TRPO, PPO)
使用深度强化学习玩 Pong:registered:：训练强化学习代理玩 Pong:registered: 的变体-matlab开发
05-31
此示例演示了一个强化学习代理使用 Reinforcement Learning Toolbox:trade_mark: 玩 Pong:registered: 游戏的变体。 您将按照命令行工作流在 MATLAB:registered: 中创建 DDPG 代理，设置超参数，然后训练和模拟代理。 以下两个脚本可用于训练或模拟代理： train_agent.m - 用于创建和训练强化学习代理的脚本play_agent.m - 玩游戏的脚本 以下脚本用于创建环境： Environment.m - 游戏建模类Visualizer.m - 动画功能类 环境游戏的环境是一个带有球和桨的二维空间。 球以初始速度开始并在环境中移动。 墙壁限制球移动到环境之外，并在碰撞时将一些动量传递给球。 出于这个原因，每当球与物体碰撞时，速度都会发生轻微的变化。 球拍位于下半部，可以从左向右移动以防止球落下。 代理人本示例中使用了深度确定性策略梯度 (DDPG) 强化学习代理。 代
深度强化学习：基于像素的乒乓球游戏
12-25
Andrej Karpathy Deep Reinforcement Learning: Pong from Pixels 第一次学术汇报PPT
deep_rl_pong_keras:深度强化学习策略梯度方法-乒乓球游戏-Keras
05-13
深度强化学习指南（与Keras和OpenAi体育馆一起使用） 使用Keras和OpenAi体育馆进行深度强化学习策略梯度方法的分步教程。 在这个简短的项目中，我们将使用强化学习算法（策略梯度方法-REINFORCE）训练神经网络玩Pong游戏。 如果要运行它，则只需克隆存储库，然后打开钢筋_learning_pong_keras_policy_gradients.ipynb ，然后阅读并运行笔记本 我们训练了一个简单的200个隐藏的神经元网络和一个卷积模型。 简单网络的示例播放： 简单网络玩游戏的视频（ ）： 卷积网络玩游戏的视频（ ）： 考虑到有限的时间和出于学习目的，我并不是要寻找一个受过良好训练的代理，但我希望这个项目可以帮助人们熟悉rl算法和keras的基本过程。 上面的视频花了3天时间让代理在慢速的计算机上学习。 为了获得生产结果，需要更多的培训和调整，这不是我
深度强化学习方法（DQN）玩转Atari游戏（pong）
热门推荐
libenfan的博客
05-30 1万+
Atari Pong 简介 Pong是起源于1972年美国的一款模拟两个人打乒乓球的游戏，近几年常用于测试强化学习算法的性能。这篇文章主要记录如何用DQN实现玩Atari游戏中的Pong，希望对和我一样的小白有所帮助，文章最后附本文代码及参考代码 环境介绍： torch = 1.8.0+cu111 Python = 3.8.5 装环境的过程见本人另一篇博客https://blog.csdn.net/libenfan/article/details/116396388?spm=1001.2014.3001.
【强化学习】玩转Atari-Pong游戏
m0_63642362的博客
10-30 2334
使用强化学习的策略梯度算法玩转Atari游戏系列中的Pong游戏
深度强化学习：Pongs from Pixels
Cynomys的博客
11-02 981
原文： http://karpathy.github.io/2016/05/31/rl/ 作者：Andrej Karpathy 翻译：@Chen Quan 这是有关“强化学习”（RL）的早就应该发表的博客文章。RL很热！您可能已经注意到，计算机现在可以自动学习玩ATARI游戏（从原始游戏像素开始！），它们在Go（译者注：Alpha Go）上击败了世界冠军，模拟的四足动物正在学习奔跑和跳跃，机器人正...
深度强化学习：从像素玩Pong!
jiangjingxuan的博客
01-25 7267
强化学习（Reinforcement Learning，RL）特别火！你看过许多新闻：电脑能自动学习ATARI游戏，在围棋比赛中击败世界冠军，模拟四足动物学习跑和跳，机器人学习完成编程无法实现的复杂操作任务。这些进展都属于RL研究的范畴。我本人自去年起关注RL：我阅读了Richard Sutton的书，学习了David Silver的课程，看了John Schulmann的讲座，写了RL的Ja
DeepChem教程27: 使用强化学习来玩Pong
lishaoan77的专栏
03-04 780
本教程我们展示一下用强化学习来训练agent玩Pong。这个任务并不与化学直接相关，但是视频游戏可以展示强化学习技术。 安装 你应该用pip install 'gym[atari]'安装gym。（我们需要修饰器因为我们将使用atari游戏）。 In[]: !curl -Lo conda_installer.py https://raw.githubusercontent.com/deepchem/deepchem/master/scripts/colab_install.py import c..
强化学习玩atari游戏
12-30
强化学习玩Atari游戏是一种基于深度强化学习算法的方法，其中使用了深度Q学习算法。这种方法通过将游戏界面作为输入，直接从游戏界面中学习，以实现对Atari游戏的学习和玩耍。 具体来说，深度Q学习算法使用了经验回放和目标网络的技术。经验回放是一种存储和重复使用过去的经验的方法，它可以帮助算法更好地学习和记忆。目标网络是一个用于计算目标Q值的网络，它的参数是固定的，以减少目标Q值的变化。 在实现强化学习玩Atari游戏的过程中，可以使用深度强化学习框架，如TensorFlow或PyTorch，来构建深度Q网络。该网络将游戏界面作为输入，并输出每个动作的Q值。然后，根据Q值选择最佳动作，并执行该动作。通过不断与环境交互，更新网络参数，以优化Q值的估计。 以下是一个示例代码，演示了如何使用深度Q学习算法玩Atari游戏中的Pong： ```python import gym import numpy as np import tensorflow as tf # 创建环境 env = gym.make('Pong-v0') # 定义深度Q网络 model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (8, 8), strides=(4, 4), activation='relu', input_shape=(84, 84, 4)), tf.keras.layers.Conv2D(64, (4, 4), strides=(2,2), activation='relu'), tf.keras.layers.Conv2D(64, (3, 3), strides=(1, 1), activation='relu'), tf.keras.layers.Flatten(), tf.keras.layers.Dense(512, activation='relu'), tf.keras.layers.Dense(env.action_space.n) ]) # 定义经验回放缓冲区 replay_buffer = [] # 定义训练参数 epsilon = 1.0 # 探索率 epsilon_decay = 0.99 # 探索率衰减率 epsilon_min = 0.01 # 最小探索率 gamma = 0.99 # 折扣因子 batch_size = 32 # 批量大小 # 定义优化器和损失函数 optimizer = tf.keras.optimizers.Adam(learning_rate=0.001) loss_fn = tf.keras.losses.MeanSquaredError() # 定义目标网络 target_model = tf.keras.models.clone_model(model) target_model.set_weights(model.get_weights()) # 定义训练函数 def train(): # 从经验回放缓冲区中随机采样一批数据 batch = np.random.choice(len(replay_buffer), size=batch_size, replace=False) states, actions, rewards, next_states, dones = zip(*[replay_buffer[i] for i in batch]) states = np.array(states) actions = np.array(actions) rewards = np.array(rewards) next_states = np.array(next_states) dones = np.array(dones) # 计算目标Q值 q_values_next = target_model.predict(next_states) targets = rewards + gamma * np.max(q_values_next, axis=1) * (1 - dones) # 计算当前Q值 with tf.GradientTape() as tape: q_values = model(states) q_values_actions = tf.reduce_sum(q_values * tf.one_hot(actions, env.action_space.n), axis=1) loss = loss_fn(targets, q_values_actions) # 更新网络参数 grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables)) # 开始训练 for episode in range(1000): state = env.reset() state = preprocess(state) # 预处理游戏界面 done = False total_reward = 0 while not done: # 选择动作 if np.random.rand() < epsilon: action = env.action_space.sample() # 随机动作 else: q_values = model.predict(np.expand_dims(state, axis=0)) action = np.argmax(q_values) # 执行动作 next_state, reward, done, _ = env.step(action) next_state = preprocess(next_state) # 预处理游戏界面 # 存储经验 replay_buffer.append((state, action, reward, next_state, done)) # 更新状态和总奖励 state = next_state total_reward += reward # 训练网络 if len(replay_buffer) >= batch_size: train() # 更新目标网络 if episode % 10 == 0: target_model.set_weights(model.get_weights()) # 衰减探索率 epsilon = max(epsilon * epsilon_decay, epsilon_min) # 打印结果 print('Episode: {}, Total Reward: {}'.format(episode, total_reward)) # 演示游戏 state = env.reset() state = preprocess(state) done = False total_reward = 0 while not done: q_values = model.predict(np.expand_dims(state, axis=0)) action = np.argmax(q_values) next_state, reward, done, _ = env.step(action) next_state = preprocess(next_state) state = next_state total_reward += reward env.render() print('Total Reward: {}'.format(total_reward)) env.close() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值