实现DQN算法玩CartPole

最新推荐文章于 2024-08-07 02:39:05 发布
最新推荐文章于 2024-08-07 02:39:05 发布
阅读量3k 收藏 2
点赞数
分类专栏： 深度学习 文章标签： tensorflow AI python 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caimouse/article/details/76012835
版权

先安装tensorflow 1.2版本和python 3.6，

接着安装：

numpy-1.13.1+mkl-cp36-cp36m-win_amd64.whl

的版本，这个是windows下的，如果linux下直接使用pip install numpy就可以了。

再接着安装scipy版本，也是windows 10下64位版本：

scipy-0.19.1-cp36-cp36m-win_amd64.whl

下载这些文件是通过网站：http://www.lfd.uci.edu/~gohlke/pythonlibs/  ，它是提供WINDOWS的版本。


接着下来，就是安装gym模块：

D:\AI\sample\tensorforce>pip install gym

它的网站连接是https://pypi.python.org/pypi/gym/0.2.0


最后，就是安装tesorforce库：

git clone git@github.com:reinforceio/tensorforce.git
cd tensorforce
pip install -e .


这样就可以运行强化学习的例子：

python examples/openai_gym.py CartPole-v0 -a TRPOAgent -c examples/configs/trpo_cartpole.json -n examples/configs/trpo_cartpole_network.json

结果输出如下：

[2017-07-24 11:05:28,928] Making new env: CartPole-v0
2017-07-24 11:05:30.056045: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.056185: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE2 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.057611: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE3 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.059002: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.059684: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.060401: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.061129: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.061744: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations.
2017-07-24 11:05:30.406967: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:940] Found device 0 with properties:
name: GeForce GTX 1060 6GB
major: 6 minor: 1 memoryClockRate (GHz) 1.7845
pciBusID 0000:01:00.0
Total memory: 6.00GiB
Free memory: 4.99GiB
2017-07-24 11:05:30.407097: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:961] DMA: 0
2017-07-24 11:05:30.408846: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:971] 0:   Y
2017-07-24 11:05:30.409518: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1060 6GB, pci bus id: 0000:01:00.0)
[2017-07-24 11:05:31,317] Starting TRPOAgent for Environment 'OpenAIGym(CartPole-v0)'
[2017-07-24 11:05:34,728] Finished episode 50 after 16 timesteps
[2017-07-24 11:05:34,728] Episode reward: 16.0
[2017-07-24 11:05:34,729] Average of last 500 rewards: 2.6
[2017-07-24 11:05:34,730] Average of last 100 rewards: 13.0
[2017-07-24 11:05:39,224] Finished episode 100 after 81 timesteps
[2017-07-24 11:05:39,224] Episode reward: 81.0
[2017-07-24 11:05:39,226] Average of last 500 rewards: 6.49
[2017-07-24 11:05:39,226] Average of last 100 rewards: 32.45
[2017-07-24 11:05:47,185] Finished episode 150 after 177 timesteps
[2017-07-24 11:05:47,185] Episode reward: 177.0
[2017-07-24 11:05:47,186] Average of last 500 rewards: 13.364
[2017-07-24 11:05:47,187] Average of last 100 rewards: 53.82
[2017-07-24 11:06:00,082] Finished episode 200 after 136 timesteps
[2017-07-24 11:06:00,083] Episode reward: 136.0
[2017-07-24 11:06:00,084] Average of last 500 rewards: 24.414
[2017-07-24 11:06:00,085] Average of last 100 rewards: 89.62
[2017-07-24 11:06:18,207] Finished episode 250 after 144 timesteps
[2017-07-24 11:06:18,208] Episode reward: 144.0
[2017-07-24 11:06:18,209] Average of last 500 rewards: 40.096
[2017-07-24 11:06:18,210] Average of last 100 rewards: 133.66
[2017-07-24 11:06:35,440] Finished episode 300 after 143 timesteps
[2017-07-24 11:06:35,440] Episode reward: 143.0
[2017-07-24 11:06:35,442] Average of last 500 rewards: 55.014
[2017-07-24 11:06:35,443] Average of last 100 rewards: 153.0
[2017-07-24 11:06:52,119] Finished episode 350 after 169 timesteps
[2017-07-24 11:06:52,119] Episode reward: 169.0
[2017-07-24 11:06:52,120] Average of last 500 rewards: 69.586
[2017-07-24 11:06:52,121] Average of last 100 rewards: 147.45
[2017-07-24 11:07:05,441] Finished episode 400 after 73 timesteps
[2017-07-24 11:07:05,441] Episode reward: 73.0
[2017-07-24 11:07:05,441] Average of last 500 rewards: 81.13
[2017-07-24 11:07:05,441] Average of last 100 rewards: 130.58
[2017-07-24 11:07:15,715] Finished episode 450 after 123 timesteps
[2017-07-24 11:07:15,715] Episode reward: 123.0
[2017-07-24 11:07:15,716] Average of last 500 rewards: 89.798
[2017-07-24 11:07:15,716] Average of last 100 rewards: 101.06
[2017-07-24 11:07:23,885] Finished episode 500 after 51 timesteps
[2017-07-24 11:07:23,885] Episode reward: 51.0
[2017-07-24 11:07:23,886] Average of last 500 rewards: 96.714
[2017-07-24 11:07:23,886] Average of last 100 rewards: 77.92
[2017-07-24 11:07:32,642] Finished episode 550 after 62 timesteps
[2017-07-24 11:07:32,642] Episode reward: 62.0
[2017-07-24 11:07:32,643] Average of last 500 rewards: 101.236
[2017-07-24 11:07:32,643] Average of last 100 rewards: 70.19
[2017-07-24 11:07:42,235] Finished episode 600 after 53 timesteps
[2017-07-24 11:07:42,235] Episode reward: 53.0
[2017-07-24 11:07:42,236] Average of last 500 rewards: 104.336
[2017-07-24 11:07:42,237] Average of last 100 rewards: 70.56
[2017-07-24 11:07:52,850] Finished episode 650 after 72 timesteps
[2017-07-24 11:07:52,851] Episode reward: 72.0
[2017-07-24 11:07:52,851] Average of last 500 rewards: 105.88
[2017-07-24 11:07:52,852] Average of last 100 rewards: 77.04
[2017-07-24 11:08:02,817] Finished episode 700 after 80 timesteps
[2017-07-24 11:08:02,817] Episode reward: 80.0
[2017-07-24 11:08:02,818] Average of last 500 rewards: 102.986
[2017-07-24 11:08:02,818] Average of last 100 rewards: 82.87
[2017-07-24 11:08:13,726] Finished episode 750 after 77 timesteps
[2017-07-24 11:08:13,726] Episode reward: 77.0
[2017-07-24 11:08:13,727] Average of last 500 rewards: 96.038
[2017-07-24 11:08:13,727] Average of last 100 rewards: 84.45
[2017-07-24 11:08:25,828] Finished episode 800 after 59 timesteps
[2017-07-24 11:08:25,828] Episode reward: 59.0
[2017-07-24 11:08:25,829] Average of last 500 rewards: 90.658
[2017-07-24 11:08:25,829] Average of last 100 rewards: 91.36
[2017-07-24 11:08:42,711] Finished episode 850 after 177 timesteps
[2017-07-24 11:08:42,711] Episode reward: 177.0
[2017-07-24 11:08:42,712] Average of last 500 rewards: 90.34
[2017-07-24 11:08:42,712] Average of last 100 rewards: 118.96
[2017-07-24 11:09:03,141] Finished episode 900 after 167 timesteps
[2017-07-24 11:09:03,141] Episode reward: 167.0
[2017-07-24 11:09:03,142] Average of last 500 rewards: 95.556
[2017-07-24 11:09:03,142] Average of last 100 rewards: 155.07
[2017-07-24 11:09:27,219] Finished episode 950 after 200 timesteps
[2017-07-24 11:09:27,219] Episode reward: 200.0
[2017-07-24 11:09:27,220] Average of last 500 rewards: 105.26
[2017-07-24 11:09:27,220] Average of last 100 rewards: 175.66
[2017-07-24 11:09:53,139] Finished episode 1000 after 200 timesteps
[2017-07-24 11:09:53,139] Episode reward: 200.0
[2017-07-24 11:09:53,141] Average of last 500 rewards: 118.344
[2017-07-24 11:09:53,141] Average of last 100 rewards: 191.86
[2017-07-24 11:10:19,722] Finished episode 1050 after 200 timesteps
[2017-07-24 11:10:19,722] Episode reward: 200.0
[2017-07-24 11:10:19,723] Average of last 500 rewards: 131.222
[2017-07-24 11:10:19,724] Average of last 100 rewards: 200.0
[2017-07-24 11:10:45,962] Finished episode 1100 after 200 timesteps
[2017-07-24 11:10:45,963] Episode reward: 200.0
[2017-07-24 11:10:45,963] Average of last 500 rewards: 144.198
[2017-07-24 11:10:45,963] Average of last 100 rewards: 199.83


1. RPG游戏从入门到精通

2. WiX安装工具的使用
3. 俄罗斯方块游戏开发
http://edu.csdn.net/course/detail/5110
4. boost库入门基础
http://edu.csdn.net/course/detail/5029
5.Arduino入门基础
http://edu.csdn.net/course/detail/4931
6.Unity5.x游戏基础入门
http://edu.csdn.net/course/detail/4810
7. TensorFlow API攻略
http://edu.csdn.net/course/detail/4495
8. TensorFlow入门基本教程
http://edu.csdn.net/course/detail/4369
9. C++标准模板库从入门到精通 
http://edu.csdn.net/course/detail/3324
10.跟老菜鸟学C++
http://edu.csdn.net/course/detail/2901
11. 跟老菜鸟学python
http://edu.csdn.net/course/detail/2592
12. 在VC2015里学会使用tinyxml库
http://edu.csdn.net/course/detail/2590
13. 在Windows下SVN的版本管理与实战 
http://edu.csdn.net/course/detail/2579
14.Visual Studio 2015开发C++程序的基本使用 
http://edu.csdn.net/course/detail/2570
15.在VC2015里使用protobuf协议
http://edu.csdn.net/course/detail/2582
16.在VC2015里学会使用MySQL数据库
http://edu.csdn.net/course/detail/2672

caimouse
关注
专栏目录
用matlab自主搭建DQN算法解决CartPole问题
03-31
本项目采用MATLAB语言搭建cartPole问题环境以及手动实现DQN算法能够很好的解决控制小车的平衡一类问题，其目的是帮助初学者很好地理解DQN算法。
matlab手动实现基于DQNCartPole问题
weixin_43139856的博客
08-14 2474
不用强化学习工具箱的DQN算法案例与matlab代码（二） == DQN问题== 1.首先DQN与Q-learning算法区别： MATLAB手动实现DQN最短路径问题 2.：为何为Q网络引入带有标签的数据 DQN问题解答比较好的网址，大家可以点进去好好看看 == cartpole问题== 环境设置：CartPole问题描述见链接。参数设置见代码。 奖励设置： 每一步给出的奖励为0，当满足norm(state(3),state(4))<0.01时，奖励为10；当杆子与竖直方向角度大于10或者移动范围
强化学习之DQN算法——以车杆环境（CartPole）为例
最新发布
佚名
08-07 842
0.简介深度Q学习（Deep Q-Learning，简称DQN）是一种结合了深度学习和Q-Learning的强化学习算法。其主要目标是使用深度神经网络来近似Q函数，从而解决传统Q-Learning在面对大规模或连续状态空间时的计算困难。DQN的核心思想是使用一个深度神经网络（通常是卷积神经网络或者多层感知机）作为函数逼近器，来估计动作-值函数（action-value function），即Q函数。网络的输入是环境的状态，输出是每个可能动作的预期奖励。原文算法流程如下：1.导库2.经验回访池定义。
DQN代码实战，gym经典CartPole（小车倒立摆）模型，纯PyTorch框架，代码中包含4种DQN变体，注释清晰。
05-27
亲身实践的DQN学习资料，环境是gym里的经典CartPole（小车倒立摆）模型，目标是使倒立摆不倒且小车位置不出界。纯PyTorch框架，不像Tensorflow有各种兼容性警告。做了很好的可视化，可直观感受强化学习DQN的学习效果。是入门强化学习的很好的途径。
【强化学习】Pytorch使用DQN玩CartPole
Learning from the mistakes
09-17 993
最近有个项目用到了DQN，所以参考实现了DQN，并进行了一点小小的改动，这里把代码分享出来，方便大家使用到自己的项目中去。DQN.py。
dqn dueling 算法 CartPole-v0 三网络实现
阿豪
02-27 252
原文链接: dqn dueling 算法 CartPole-v0 三网络实现 ...
cartpole-dqn.zip_DQN_DQN算法_cartpole dqn_deep Q_q学习
07-14
在"CartPole-DQN.py"这个文件中，应该包含了实现DQN算法的Python代码，包括定义网络结构、设置超参数、定义训练循环、以及与OpenAI Gym环境的交互逻辑等。通过阅读和理解这段代码，你可以深入学习DQN算法的细节，并...
深度强化学习DQN算法实现小车平衡杆(CartPole)问题
02-07
DQN（Deep Q-Network）算法是一种基于深度神经网络的强化学习算法，旨在解决Q-learning算法在高维状态空间中...手撕DQN算法实现CartPole控制》，对每一行代码进行注释说明，并修改部分内容，完成在本设备上的正常运行。
paddle2.2.0：DQN算法训练cartpole游戏
ZhaoLinke1998的博客
11-29 1043
LEARN_FREQ = 5 MEMORY_SIZE = 20000 MEMORY_WARMUP_SIZE = 200 BATCH_SIZE = 32 LEARNING_RATE = 0.001 GAMMA = 0.99 class Model(parl.Model): def __init__(self, obs_dim, act_dim): super().__init__() self.fc1 = nn.Linear(obs_dim, 128) .
深度强化学习+DQN+Pytorch+CartPole-v0
07-14
基于Pytorch实现的DQN算法，环境是基于CartPole-v0的。在这个程序中，复现了整个DQN算法，并且程序中的参数是调整过的，直接运行。 DQN算法的大体框架是传统强化学习中的Q-Learning，只不过是Q-learning的深度学习...
DQN(Deep Q Network)及其代码实现
热门推荐
weixin_45552370的博客
08-18 3万+
为什么需要DQN 我们知道，最原始的Q-learning算法在执行过程中始终需要一个Q表进行记录，当维数不高时Q表尚可满足需求，但当遇到指数级别的维数时，Q表的效率就显得十分有限。因此，我们考虑一种值函数近似的方法，实现每次只需事先知晓S或者A，就可以实时得到其对应的Q值。DQN中采用了深度神经网络作为值函数近似的工具，这种方法被证明十分有效。 ​ DQN简介 Q-learning算法很早就有了，但是其与深度学习的结合是在2013年的DeepMind发布的《Playing Atari with Deep R
基于 CartPole-v0 环境的强化学习算法实现
01-18
Cart Pole 在 OpenAI 的 gym 模拟器里面是相对比较简单的一个游戏。游戏里面有一个小车，上有 一根杆子。小车需要左右移动来保持杆子竖直。如果杆子倾斜的角度大于 15°，那么游戏结束。小车也不 能移动出一个范围（中间到两边各 4.8 个单位长度）。详细设计见md文件。
DQN 原理（三）：DQN 训练代码实现
dxmkkk的博客
03-06 1万+
文章转自微信公众号《慢慢学TensorFlow》 请点击下面链接阅读原文！ DQN 原理（三）：DQN 训练代码实现
强化学习实践八：DQN的实现
xl.zhang的博客
05-29 5511
本文将带您一起实践深度学习与强化学习联合解决问题的一个经典算法：深度Q学习网络（DQN）。深度学习算法在强化学习领域的应用主要体现在价值函数或策略函数的近似表示上，理解了这一点将有助于您直击深度强化学习问题的本质。正因为如此，我们也可以使用不基于深度学习的其他函数近似工具。 这里贴一些别人已经写好的基于深度学习算法的一些链接： borgwang/reinforce_py用不同的机器学习库实现...
CartPoleEnv的reward上限200，增大或减小的解决方案
qq_3311753064的博客
03-20 1104
什么是CartPole CartPole又叫倒立摆。如下图，小车上放了一根杆，杆会因重力而倒下。我们要通过移动小车保持杆树立，不让其倒下。网页跳转 在实际训练中，发现每次reward上限只有200。 在gym的安装位置在文件gym/envs/init.py 中，限定了最大的步数：max_episode_steps，可以通过修改它来解决问题。 register( id="CartPole-v0", entry_point="gym.envs.classic_control:CartPoleE
cartpole强化学习DQN实战
weixin_43968987的博客
01-26 1403
本文章通过keras实现DQN算法来解决倒立摆的平衡问题 一.环境 cartpole是一个经典的环境，可以验证许多的算法。这次我用的是cartpole-v0，一个离散动作空间的倒立摆环境，该环境有两个动作，即左和右，并且包含环境的四个状态观测值。 然后就瞅瞅这个环境： 黑色的载体可以左右移动，来保持平衡杆直立 然后看一下gym官方的描述： 这里面尤其要注意的一点就是关于“Reward”的描述，每一步都给“1”分的回报，而且最关键的是，即使这一步导致一轮交互结束了，也给予“1”分的回报。这样显然是不可取的
DQN理论基础及其代码实现【Pytorch + CartPole-v0】
一起加油~
07-07 4076
DQN理论基础及其基于Pytorch的代码实现，环境是CartPole-v0。附带完整代码实现。
CartPole 强化学习详解1 - DQN
Oxalate的博客
05-03 9427
工作中常会接触到强化学习的内容，自己以gym环境中的Cartpole为例动手实现一下，记录点实现细节。 1. gym-CartPole环境准备 环境是用的gym中的CartPole-v1，就是火柴棒倒立摆。gym是openai的开源资源，具体如何安装可参照： 强化学习一、基本原理与gym的使用_wshzd的博客-CSDN博客_gym 强化学习 这个环境的具体细节（参考gym源码cartpole.py）： action只有向左向右两个选择，离散量 观测值有4个，x, x_dot, thet
使用深度Q网络（DQN）训练机器人自主导航
a871923942的博客
04-08 1048
在本博客中，我们将介绍如何使用OpenAI Gym和深度Q网络（DQN）算法训练一个机器人在模拟环境中实现自主导航。
dqn 路径规划python
10-20
DQN路径规划是一种基于深度强化学习的路径规划方法，它使用神经网络来学习路径规划策略。在这种方法中，智能体通过与环境交互来学习最优路径规划策略。DQN路径规划的优点是可以处理高维状态空间和连续动作空间，同时可以在未知环境中进行路径规划。在Python中，可以使用TensorFlow等深度学习框架来实现DQN路径规划算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

caimouse

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值