强化学习的平衡车游戏

最新推荐文章于 2024-07-04 04:59:44 发布
最新推荐文章于 2024-07-04 04:59:44 发布
阅读量1.9k 收藏 6
点赞数 1
文章标签： 人工智能 游戏 python
原文链接：https://my.oschina.net/u/778683/blog/3100087
版权
本文介绍了如何利用OpenAI的gym库中的Cart Pole游戏进行强化学习实验。游戏目标是通过神经网络训练使小车保持杆子竖直，达到200个连续动作而不倒。文章探讨了强化学习的概念，并预告了后续将分享的常见强化学习模型。通过安装gym并运行示例代码，读者可以开始自己的强化学习之旅。
摘要由CSDN通过智能技术生成

openAi开源了一个叫gym的游戏库，这个库里有好多小游戏可以用来做强化学习试验，比如Cart Pole平衡车小游戏。

gym的Cart Pole环境
Cart Pole在OpenAI的gym模拟器里面，是相对比较简单的一个游戏。游戏里面有一个小车，上有竖着一根杆子。小车需要左右移动来保持杆子竖直。如果杆子倾斜的角度大于15°，那么游戏结束。小车也不能移动出一个范围（中间到两边各2.4个单位长度）。如下图所示： 

edcd8bd352dd2309f046145e6da6379add7.jpg
在gym的Cart Pole环境（env）里面，左移或者右移小车的action之后，env都会返回一个+1的reward。到达200个reward之后，游戏也会结束。

强化学习的目的就是训练神经网络来自动玩这个游戏，使得最终结果是连续移动200个action而平衡车不倒，一直到游戏正常结束。

那么问题来了，神经网络是通过什么机制来学会自动玩这个游戏呢？这就是深度学习里一个鼎鼎大名的领域叫“强化学习”。著名的围棋智能机器人阿法狗就是强化学习的一个典型应用。

那么强化学习是怎么实现的呢？它的工作原理是什么？

笔者不打算太多介绍理论方面的知识，更多的从实践出发，教给大家怎么编写自己的强化学习模型。强化学习模型大概有DQN，策略网络，DDPG等几种常见的神经网络结构，具体的模型实践会在后续章

最低0.47元/天 解锁文章
choushi5845
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
概率神经网络_深度学习算法(第33期)强化学习之神经网络策略学习平衡车
weixin_39884738的博客
11-29 633
上期我们一起学习了强化学习入门的相关知识，深度学习算法(第32期)----强化学习入门必读今天我们学习下OpenAI工具包以及神经网络策略学习平衡车的相关知识。OpenAI Gym 介绍强化学习的一个挑战就是为了训练智能体，我们必须有一个工作环境。如果想整一个学习玩Atari游戏的智能体，那么必须得有一个Atati游戏的模拟器。如果我们想训练一个自动行走的机器人，那么这个环境就是现实...
深度学习算法(第33期)----强化学习之神经网络策略学习平衡车
春有百花秋有月，夏有凉风冬有雪！
10-25 1165
上期我们一起学习了强化学习入门的相关知识，深度学习算法(第32期)----强化学习入门必读今天我们学习下OpenAI工具包以及神经网络策略学习平衡车的相关知识。OpenAI Gym ...
基于强化学习的倒立摆平衡车控制系统simulink建模与仿真
最新发布
fpga/matlab/simulink算法仿真工程
07-04 644
基于强化学习的倒立摆平衡车控制系统是一个典型的动态系统控制问题，它通过不断的学习和决策过程，使倒立摆维持在垂直平衡位置，即使受到外力干扰或系统内部噪声影响。奖励 r：每一步给予智能体的反馈，例如，当倒立摆保持平衡时给予正奖励（如+1），当倒立摆倒下或偏离预定范围时给予负奖励或终止。这里，α是学习率，γ是折扣因子，rt+1​是采取动作at​后立即获得的奖励，st+1​是下一个状态。其中，g是重力加速度，l是摆长，m是摆的质量，b是摩擦系数，u是小车对系统施加的控制力。matlab2022a仿真结果如下。
pole.zip_matlab 强化学习_平衡小车_强化学习 matlab_强化学习matlab_强化学习控制
07-15
小车-倒立摆的平衡控制问题，由强化学习方法来求解，参考sutton《强化学习》一书
RT-Thread实战笔记-小白一看就会的平衡车教程（附源码）
qq_16519885的博客
06-19 2448
RT-Thread平衡车DIY教程，从0到1
matlab强化学习平衡杆代码
04-24
matlab中平衡杆问题的强化学习代码，包含Q学习、Sarsa学习的实现。
基于强化学习的列车节能
05-11
一些复杂的强化学习算法在一定程度上具备解决复杂问题的通用智能，可以在围棋和电子游戏中达到人类水平。 强化学习在工程领域的应用也相当广泛。例如，Facebook提出了开源强化学习平台Horizon，该平台利用强化学习...
深度强化学习DQN算法实现小车平衡杆(CartPole)问题
02-07
DQN（Deep Q-Network）算法是一种基于深度神经网络的强化学习算法，旨在解决Q-learning算法在高维状态空间中面临的问题。 本代码借鉴学习《深度强化学习专栏 —— 2.手撕DQN算法实现CartPole控制》，对每一行代码...
强化学习traffic
03-29
在“HighSpeedRacing-master”这个压缩包中，可能包含了一个高速赛车的游戏或模拟环境，用于强化学习的训练和测试。这个环境中，智能体（可能是虚拟赛车）需要学习如何在赛道上以最高速度行驶，同时避免碰撞和其他...
强化学习DQN笔记.md
08-21
### 强化学习DQN笔记知识点详述 #### 强化学习概述 强化学习是一种让智能体通过与环境互动来学习最优策略的方法。其主要目标在于最大化累积奖励，即智能体通过一系列动作来达到最终的目的地或完成特定任务时所能...
机器学习之强化学习介绍
09-16
强化学习的典型应用包括游戏、机器人控制、自动驾驶汽车以及在经济学中模拟市场行为等。AlphaGo的成功就是利用了深度强化学习，它通过不断自我对弈来学习策略，最终战胜了人类围棋世界冠军。 强化学习的挑战包括...
基于Keras的OpenAI-gym强化学习的车杆/FlappyBird游戏
aohun0743的博客
08-23 1842
强化学习 课程：Q-Learning强化学习(李宏毅)、深度强化学习 强化学习是一种允许你创造能从环境中交互学习的AI Agent的机器学习算法，其通过试错来学习。如上图所示，大脑代表AI Agent并在环境中活动。当每次行动过后，Agent接收到环境反馈。反馈包括回报Reward和环境的下个状态State，回报由模型设计者定义。如果类比人类学习自行车，可以将车从起始点到当前位...
python 笔记 ：Gym库 （官方文档笔记）
热门推荐
qq_40206371的博客
12-21 1万+
Gym是一个开发和比较强化学习算法的工具箱。它不依赖强化学习算法结构，并且可以使用很多方法对它进行调用。 1 Gym环境 这是一个让某种小游戏运行的简单例子。 这将运行 CartPole-v0 环境实例 1000 个时间步，在每次迭代的时候都会将环境初始化(env.render)。运行之后你将会看到一个经典的推车杆问题 import gym env = gym.make('CartPole-v0') env.reset() for _ in rang...
CNTK与深度强化学习笔记： Cart Pole游戏示例
胭脂草的ABC博客
08-17 522
CNTK与深度强化学习笔记之二： Cart Pole游戏示例 前言 前面一篇文章，CNTK与深度强化学习笔记之一： 环境搭建和基本概念，非常概要的介绍了CNTK，深度强化学习和DQN的一些基本概念。这些概念希望后面还有文章继续展开深入:)，但是只看理论不写代码，很容易让人迷惑。学习应该是一个理论和实践反复的过程。上一章的公式太多，这一章没有公式，只有代码。建议大家这两章来回看，把理论和代码对应起来。我们先来一个简单的例子看一下。这个例子来自CNTK的官方文档：CNTK 203: Reinforcemen
gym入门
weixin_49897963的博客
03-12 3770
gym入门 gym简介 gym是一个用于开发和比较强化学习算法的工具箱。它对代理（agent）的结构没有任何假设，并且与任何数值计算库(如TensorFlow或Theano)兼容。 gym库是一个测试问题的集合，即环境。你可以用它来制定你的强化学习算法。这些环境有一个共享的接口，允许您编写通用的算法。 gym安装 在cmd中输入： pip install gym 环境 下面是一个让某些东西运行的最小示例。这将为1000个时间步运行一个 CartPole-v0 环境的实例，并在每个步骤中呈现环境。你应该会看
强化学习gym库中的Pendulum-v1/CartPole-v1游戏介绍
qq_43391414的博客
12-05 1万+
文章目录前言CartPole-v1游戏结束stateaction和rewardPendulum-v1通用操作 前言 gym官网：http://gym.openai.com/envs/#classic_control。 这gym的游戏真他妈坑，有很多游戏，但是只是粗略说说，而不说游戏具体规则。 不但如此，坑2：Pendulum-v0都已经被gym官方认定过时了，导入会报错。但是这个网站却还没有更新Pendulum-v1过来，蛋疼。 还有坑3：大家要看这个游戏的具体规则要进入github里面去看。例如Car
强化学习入门系列三VS强化游戏gym环境的使用
hua111hua的博客
01-25 4747
文章目录1. Gym库的使用方法2. Gym中游戏的基本信息3. Gym游戏的几个例子3.1 小车翻沟 1. Gym库的使用方法 Gym是OpenAI推出的免费的强化学习实验环境，支持python语言。 Gym拥有各种环境，从 简单到复杂，涉及许多不同种类的数据。包括： 　　>经典控制和玩具文字：完成小规模的任务，大部分来自RL文献。用于入门。 　　>算法化：执行计算，例如添加多位数和...
Python人工智能库之gym使用详解
Rocky006的博客
03-20 2060
在现代人工智能领域中，强化学习是一种强大的学习方法，而 Python 的 Gym 库则是这一领域的理想工具之一。Gym 提供了一个开放的环境，让开发者可以轻松地进行强化学习算法的实验和测试。本文将深入探讨 Gym 库的特性、用法，并通过丰富的示例代码展示其在实际项目中的应用。
强化学习——DQN算法
qq_62965644的博客
07-31 1081
这个原因在于假如在一个游戏中，我们的目标状态并不是固定，可能是一直变换的，就如这个游戏中，平衡的状态是多种多样的，那么我们一直跟踪这个目标就会变得困难，这时我们不妨固定住某一个曾经是目标的状态，让机器先尝试去达到这种状态，再去跟踪下一个固定目标状态，这样的方式会使得机器更容易找到目标状态。接下来我们需要创建一个样本池，神经网络会在这个样本池中进行学习，随后需要不断更新我们的样本池，当我们有一个新的行动时，我们应该添加新的样本，删除旧的样本，保持样本池最大数量不变。接着是价值函数（直接交给神经网络就可以了）
强化学习的平衡车游戏代码
06-12
以下是使用Python和Keras实现强化学习平衡车游戏的代码： ```python import gym import numpy as np from keras.models import Sequential from keras.layers import Dense from keras.optimizers import Adam class Agent: def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.memory = [] self.gamma = 0.95 self.epsilon = 1.0 self.epsilon_decay = 0.995 self.epsilon_min = 0.01 self.learning_rate = 0.001 self.model = self._build_model() def _build_model(self): model = Sequential() model.add(Dense(24, input_dim=self.state_size, activation='relu')) model.add(Dense(24, activation='relu')) model.add(Dense(self.action_size, activation='linear')) model.compile(loss='mse', optimizer=Adam(lr=self.learning_rate)) return model def remember(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) def act(self, state): if np.random.rand() <= self.epsilon: return np.random.choice(self.action_size) act_values = self.model.predict(state) return np.argmax(act_values[0]) def replay(self, batch_size): minibatch = np.random.choice(len(self.memory), batch_size, replace=False) for state, action, reward, next_state, done in minibatch: target = reward if not done: target = (reward + self.gamma * np.amax(self.model.predict(next_state)[0])) target_f = self.model.predict(state) target_f[0][action] = target self.model.fit(state, target_f, epochs=1, verbose=0) if self.epsilon > self.epsilon_min: self.epsilon *= self.epsilon_decay if __name__ == "__main__": env = gym.make('CartPole-v1') state_size = env.observation_space.shape[0] action_size = env.action_space.n agent = Agent(state_size, action_size) batch_size = 32 episodes = 1000 for e in range(episodes): state = env.reset() state = np.reshape(state, [1, state_size]) for time in range(500): env.render() action = agent.act(state) next_state, reward, done, _ = env.step(action) reward = reward if not done else -10 next_state = np.reshape(next_state, [1, state_size]) agent.remember(state, action, reward, next_state, done) state = next_state if done: print("episode: {}/{}, score: {}, e: {:.2}" .format(e, episodes, time, agent.epsilon)) break if len(agent.memory) > batch_size: agent.replay(batch_size) ``` 这个代码使用的是DQN算法，它的核心思想是使用深度神经网络来预测每个动作的Q值，并使用经验回放和固定的目标网络来提高训练效果。你可以在 OpenAI Gym 上试玩 CartPole-v1 游戏，这个游戏就是平衡车游戏的一个实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值