Windows环境下配置深度强化学习环境玩Atari游戏

Windows下配置深度强化学习Atari环境(gym)

1.在anaconda命令行下创建新的环境

conda create -n 环境名 python=3.8.5  #可以定义自己的环境名

2.激活环境

activate 环境名

补充:

如果需要cuda加速需要安装cuda和cudnn
安装cuda:
查看自己电脑的显卡版本,去https://developer.nvidia.com/cuda-toolkit-archive网站找到自己显卡对应的cuda版本下载,
下载完成后安装在默认路径下(否则安装完成后会看不到自己设置的文件夹)
Win+R,输入cmd.打开命令行,输入nvcc -V 出现版本号则安装成功
安装cudnn:
进官网https://developer.nvidia.com/rdp/cudnn-download,依据cuda版本选择相应cuDNN版本
下载完成后是一个压缩包,将其解压缩后的三个文件夹复制到cuda安装路径上
Win+R,输入cmd.打开命令行,输入nvidia-smi 成功输出则安装成功


3.安装tensorflow环境

conda install -c anaconda tensorflow-gpu

根据自己的需要安装GPU或者CPU版本

4.安装keras

conda install -c anaconda keras-gpu

根据自己的需要安装GPU或者CPU版本

5.安装pytorch

这里最好能够去pytorch官网(https://pytorch.org/)查看自己前面安装版本对应的pytorch安装命令(对应GPU、CPU及CUDA版本不同安装命令有区别)


conda install -c pytorch pytorch

6.安装gym环境

pip install gym
pip install --no-index -f https://github.com/Kojoley/atari-py/releases atari_py

测试代码:

import gym
env = gym.make('MountainCar-v0')
for i_episode in range(10):
    observation = env.reset()
    for t in range(1000):
        env.render()
        action = env.action_space.sample()
        observation, reward, done, info = env.step(action)
    if done:
        print("Episode finished after {} timesteps".format(t+1))
        break
env.close()
成功运行则安装成功

 

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
PyTorch是一个开源的Python机器学习库,它提供了强大的工具来进行深度学习和强化学习。在这篇文章中,我们将使用PyTorch来构建一个深度强化学习模型,让AIAtari游戏。 Atari游戏是一系列经典的电子游戏,如Pong、Space Invaders和Breakout。这些游戏简单易懂,但是对于人类家来说仍然有挑战性。我们将使用Atari游戏作为我们的强化学习环境,以训练我们的AI代理。 我们将使用Deep Q-Networks(DQN)算法来训练我们的AI代理。DQN是一种基于深度学习的强化学习算法,它将神经网络与Q学习相结合,使得AI代理可以学习如何最大化其预期回报。 首先,我们需要安装PyTorch和OpenAI Gym。OpenAI Gym是一个用于开发和比较强化学习算法的工具包。您可以在这里找到有关安装方法的说明:https://pytorch.org/get-started/locally/ 和 https://gym.openai.com/docs/#installation。 在安装完成后,我们可以开始编写我们的代码。 首先,我们需要导入必要的库: ```python import random import math import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import numpy as np import gym ``` 接下来,我们定义我们的Agent类。Agent类负责与环境交互并学习如何游戏。 ```python class Agent: def __init__(self, env, gamma, epsilon, lr): self.env = env self.gamma = gamma self.epsilon = epsilon self.lr = lr self.memory = [] self.model = Net(env.observation_space.shape[0], env.action_space.n) self.optimizer = optim.Adam(self.model.parameters(), lr=self.lr) def act(self, state): if random.random() < self.epsilon: return self.env.action_space.sample() else: state = torch.FloatTensor(state).unsqueeze(0) q_values = self.model(state) return q_values.max(1)[1].item() def remember(self, state, action, next_state, reward): self.memory.append((state, action, next_state, reward)) def learn(self, batch_size): if len(self.memory) < batch_size: return transitions = random.sample(self.memory, batch_size) batch = Transition(*zip(*transitions)) state_batch = torch.FloatTensor(batch.state) action_batch = torch.LongTensor(batch.action) reward_batch = torch.FloatTensor(batch.reward) next_state_batch = torch.FloatTensor(batch.next_state) q_values = self.model(state_batch).gather(1, action_batch.unsqueeze(1)) next_q_values = self.model(next_state_batch).max(1)[0].detach() expected_q_values = (next_q_values * self.gamma) + reward_batch loss = F.smooth_l1_loss(q_values, expected_q_values.unsqueeze(1)) self.optimizer.zero_grad() loss.backward() self.optimizer.step() ``` 我们的Agent类具有几个方法: 1. `__init__`方法初始化代理。我们传递的参数包括环境,折扣因子(gamma),ε贪心策略中的ε值和学习率(lr)。我们还创建了一个神经网络模型和Adam优化器。 2. `act`方法根据当前状态选择一个动作。我们使用ε贪心策略,在一定概率下随机选择动作,否则选择当前状态下具有最高Q值的动作。 3. `remember`方法将经验元组(state,action,next_state,reward)添加到内存中。 4. `learn`方法从内存中随机选择一批经验元组,然后使用这些经验元组进行训练。我们计算当前状态下的Q值和下一个状态下的最大Q值,然后使用这些值计算预期Q值。我们使用平滑L1损失函数计算损失,并使用Adam优化器更新我们的模型。 接下来,我们定义我们的神经网络模型。 ```python class Net(nn.Module): def __init__(self, input_size, output_size): super(Net, self).__init__() self.fc1 = nn.Linear(input_size, 128) self.fc2 = nn.Linear(128, 128) self.fc3 = nn.Linear(128, output_size) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x ``` 我们的模型是一个简单的前馈神经网络,具有三个全连接层。我们使用ReLU激活函数,并且输出层的大小等于动作空间的大小。 最后,我们定义我们的主函数,用于实际运行我们的代理。 ```python if __name__ == '__main__': env = gym.make('Breakout-v0') agent = Agent(env, gamma=0.99, epsilon=1.0, lr=1e-4) batch_size = 32 num_episodes = 1000 for i_episode in range(num_episodes): state = env.reset() total_reward = 0 done = False while not done: action = agent.act(state) next_state, reward, done, _ = env.step(action) agent.remember(state, action, next_state, reward) agent.learn(batch_size) total_reward += reward state = next_state agent.epsilon = max(0.01, agent.epsilon * 0.995) print("Episode: {}, total reward: {}, epsilon: {}".format(i_episode, total_reward, agent.epsilon)) ``` 我们使用OpenAI Gym中的Breakout游戏来测试我们的代理。在每个训练周期中,我们重置环境并运行一个周期,直到游戏结束。我们将每个状态、动作、下一个状态和奖励作为经验元组传递给我们的Agent,并使用这些经验元组进行训练。我们使用逐步减小的ε值来平衡探索和利用。我们打印出每个训练周期的总奖励以及当前的ε值。 现在我们已经编写了我们的代码,我们可以开始训练我们的代理。运行主函数,我们将看到我们的代理在游戏中逐渐变得更加熟练。我们可以尝试调整参数来进一步优化我们的代理的性能。 总结: 在本文中,我们使用PyTorch和OpenAI Gym构建了一个深度强化学习代理,让它Atari游戏。我们使用Deep Q-Networks算法和ε贪心策略来训练我们的代理,并逐步减小ε值来平衡探索和利用。我们的代理在游戏中逐渐变得更加熟练,展示了PyTorch在深度强化学习中的强大功能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

libenfan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值