深度强化学习Deep Q-Network（DQN）玩CartPole游戏源码运行笔记

最新推荐文章于 2024-08-26 23:27:09 发布
最新推荐文章于 2024-08-26 23:27:09 发布
阅读量1.6k 收藏 10
点赞数
分类专栏： 深度学习（Deep learning） 强化学习（Reinforcement learning） Keras Python 文章标签： 深度学习 强化学习 DQN Q-learning CartPole
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/discoverer100/article/details/88631075
版权
本文记录了在NVIDIA GTX 1070和Ubuntu 16.04环境下，使用TensorFlow 1.2.0和Keras 2.2.4运行深度强化学习DQN算法解决CartPole游戏的过程。详细步骤包括环境配置、源码准备、运行游戏以及可能出现的问题和解决方案。随着训练迭代的增加，智能体的游戏表现逐渐提升。
摘要由CSDN通过智能技术生成

1. 运行环境介绍

  • NVIDIA GTX 1070
  • Ubuntu 16.04 x64
  • CUDA 8.0.61
  • cuDNN 5.1
  • Python 3.4
  • TensorFlow 1.2.0
  • Keras 2.2.4（Keras-2.2.4-py2.py3-none-any.whl）
  • OpenCV 3.1.0 for Python3.4（opencv-3.1.0-np111py34_1.tar.bz2）
  • gym（gym-0.12.0.tar.gz）

2. 准备

S1. 下载源码并解压，地址：https://github.com/keon/deep-q-learning

S2. 若希望从头开始体验training过程，可以删除源码中save文件夹中的所有weights文件（或者修改成别的文件名也可以）。

3. 运行

S1. 打开源码中的ddqn.py文件，取消第102行、第116行和第117行的注释。

S2. 新建终端，cd到源码的根目录下，运行如下命令即可：

python ddqn.py

运行过程如下两幅动图所示：

最低0.47元/天 解锁文章
越野者
关注
专栏目录
【Pytorch项目实战】之强化学习：Q-Learning、SARSA、DQN
shinuone的博客
01-31 1039
Q-Learning、SARSA、深度Q网络（Deep Q Network，DQN）、策略梯度（Policy Gradients）等。：环境（Environment）、主体（Agent）、状态（State）、动作（Action）、奖励（Reward）的行动策略，有些动作将始终无法选择，进而导致无法更新Q值，将不利于发现更有价值的情况。问题1：（1）在实际应用下，由于场景很复杂，很难定义出离散且有限的状态和动作。若安装失败就多试几次。问题2：（2）即使能够定义，数量非常大的情况下，无法用数组存储。
深度学习：卷积神经网络从入门到精通
热门推荐
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
深度强化学习Deep Q-Network（DQN）玩CartPole游戏源码运行笔记（Pinard版本）
越野者的博客
03-24 1610
1. 运行环境介绍 NVIDIA GTX 1070 Ubuntu 16.04 x64 CUDA 8.0.61 cuDNN 5.1 Python 3.4 TensorFlow 1.2.0 OpenCV 3.1.0 for Python3.4（opencv-3.1.0-np111py34_1.tar.bz2） gym（gym-0.12.0.tar.gz） 2. 准备 下载源码（单文件源码）并存放...
Deep Q-Learning算法解决Cartpole(倒立摆)游戏
CaptainChen的博客
08-11 2275
倒立摆Cartpole-v1 简介 倒立摆为一个小车和一个杆通过轴连接，杆在初始时稍有偏离垂直线，在重力作用下会倒下，游戏目的是通过左右控制小车（施加左右的力）来避免杆的倒下。 API 获取初始状态 env = gym.make("CartPole-v1") state = env.reset() state为一个包含4个元素的list，分别表示小车位置，小车速度，杆的角度，杆的角速度，具体范围如下 Type: Box(4) Num Observation Min
【人工智能】项目案例分析：使用深度强化学习玩《吃豆人》游戏
最新发布
weixin_51306394的博客
08-26 1162
本项目旨在通过深度强化学习（DRL）技术，使智能体（Agent）能够自主学习并控制《吃豆人》游戏中的主角，以高效的方式吃掉所有豆子并避免被幽灵捕获。我们将使用深度学习网络（如卷积神经网络CNN）结合强化学习算法（如Q-Learning或DQN，即Deep Q-Network）来实现这一目标。
【深度学习】对强化学习的理解（在CartPole-v1游戏下的强化学习）
qq_41427568的博客
12-16 2051
在上篇文章中【PaddlePaddle】 强化学习(CartPole-v1)，我们介绍了如何使用PaddlePaddle在CartPole-v1游戏上实现强化学习，但是对实现思想讲解的不是很多，也不是很清晰。于是，这篇文章主要记录实现上述强化学习的细节以及具体实现思路。 目录Q-LearningDQN实现思路第一步：创造记忆库第二步：搭建神经网络的思路根据状态预测Q值的神经网络DQNetWorkt...
使用DQN来进行Gym中的CartPole-v1游戏
m0_59363930的博客
12-17 1684
CartPole-v1游戏要求就是控制下面的cart移动使连接在上面的pole保持垂直不倒。这个任务只有两个离散动作，要么向左用力，要么向右用力。而state状态就是这个cart的位置和速度、 pole的角度和角速度，4维的特征（连续），坚持到200分的奖励则为过关。
（强化学习）DQN实战CartPole游戏
zhangycode的博客
03-09 2284
DQN的全称是deep Q network，是将深度神经网络和Q-learing相结合，克服Q-learing在面对状态空间很大时效率变得很低得问题，DQN其实是用一种近似的方式来求Q函数， ...
深度强化学习研究笔记（3）——Deep Q-Network（DQN）（DQN问题引入，建模，一个Python小例子）
越野者的博客
03-26 5736
文章目录1. DQN问题描述 1. DQN问题描述 传统Q-learning方法难以处理真实场景下的高维数据，将大量的state和QQQ value存储在内存中会导致计算复杂。于是有研究者想到利用深度神经网络（DNN）来高维数据的强化学习问题，其核心思想是利用价值函数的近似（Value Function Approximation）求解，通过深度神经网络来表示QQQ值的近似分布。下图描述了如何利用...
强化学习DQN并玩CartPole游戏
weixin_48866452的博客
10-16 1230
强化学习DQN并玩CartPole游戏 1、强化学习 一张经典的关于强化学习的图。 一个代理（Agent）存在一个空间中，并观察环境，得到该环境的状态（observation），于是做出一个动作（action），一旦发出了动作则会改变环境，环境的改变则产生一个回报（reward）给代理，回报有正有负、有大有小。 强化学习是，让代理在该环境中生存。不断地试错，以试图获取最大的回报。 这便是强化学习的过程。 2、马尔科夫链 在代理不断地观察环境做出动作得到回报，观察环境做出动作得到回报，…，观察环境做出动作得
使用DQN解决cartpole问题（深度强化学习入门）
qq_44689178的博客
11-23 1713
使用DQN解决cartpole问题（深度强化学习入门） # -*- coding: utf-8 -*- """ Created on Mon Nov 22 11:16:50 2021 @author: wss """ import numpy as np import torch import torch.nn as nn import torch.nn.functional as F # 调用relu啥的 import collections import random import torch.opt
DDQN信号
02-24
DDQN信号
基于 CartPole-v0 环境的强化学习算法实现
01-18
Cart Pole 在 OpenAI 的 gym 模拟器里面是相对比较简单的一个游戏。游戏里面有一个小车，上有 一根杆子。小车需要左右移动来保持杆子竖直。如果杆子倾斜的角度大于 15°，那么游戏结束。小车也不 能移动出一个范围（中间到两边各 4.8 个单位长度）。详细设计见md文件。
DDQN的Pytorch实现.zip
05-19
使用Pytorch和多项式分布采样实现DDQN算法 DDQN和Nature DQN一样，也有一样的两个Q网络结构。在Nature DQN的基础上，通过解耦目标Q值动作的选择和目标Q值的计算这两步，来消除过度估计的问题。
项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（三）
zhm2229的专栏
10-14 1105
这个项目用三篇文章进行介绍，各部分的内容如下： 项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（一）：总体介绍，游戏部分 项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（二）：算法部分 项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（三）：算法和游戏的交互部分，模型训练，模型评估，使用相同的算法和参数去玩另外一个不...
【强化学习】Pytorch使用DQN玩CartPole
Learning from the mistakes
09-17 1012
最近有个项目用到了DQN，所以参考实现了DQN，并进行了一点小小的改动，这里把代码分享出来，方便大家使用到自己的项目中去。DQN.py。
项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（二）
zhm2229的专栏
10-14 1328
这个项目用三篇文章进行介绍，各部分的内容如下： 项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（一）：总体介绍，游戏部分 项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（二）：算法部分 项目实战：使用Deep Q Network（DQN）算法让机器学习玩游戏（三）：算法和游戏的交互部分，模型训练，模型评估，使用相同的算法和参数去玩另外一个不...
DDQN代码实现
weixin_40735291的博客
09-29 1644
DDQN代码实现 代码分析 DDQN的replay函数如下： def replay(self): for _ in range(10): states, actions, rewards, next_states, done = self.buffer.sample() # targets [batch_size, action_dim] # Target represents the current fitting level # target = self.target
DQN及其变种（DDQN，Dueling DQN，优先回放）代码实现及结果
weixin_45526117的博客
04-15 5453
DQN，double DQN，dueling DQN,优先回放代码实现
使用DQN算法深入学习CartPole游戏策略
DQN（Deep Q-Network）是一种结合了深度学习和Q学习的算法，它通过神经网络来近似最优动作值函数（Q函数），用于解决连续状态和动作空间的问题。CartPole游戏是一个经典的强化学习入门案例，它要求学习算法能够控制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值