Python-DQN代码阅读(10)

最新推荐文章于 2024-08-04 14:03:23 发布
最新推荐文章于 2024-08-04 14:03:23 发布
阅读量371 收藏
点赞数
分类专栏： Python 深度强化学习 TensorFlow 文章标签： python 深度学习 强化学习 深度强化学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aaaccc444/article/details/130164218
版权

目录

1.代码

1.1 代码阅读

1.2 代码分解

1.2.1 f = open("experiments/" + str(env.spec.id) + "/performance.txt", "a+")

1.2.2 f.write(str(ep) + " " + str(time_steps) + " " + str(episode_rewards) + " " + str(total_t) + " " + str( epsilon) + '\n')

1.2.3 f.close()

1.2.4 env.spec.id

1.2.5 a+

1.代码

1.1 代码阅读

if done:  # 如果游戏结束
    # print("done: ", done)
    break

state = next_state  # 更新当前状态为下一状态
total_t += 1  # 总步数加一

if train_or_test == 'train':  # 如果是训练阶段
    print('\n Eisode: ', ep, '| time steps: ', time_steps, '| total episode reward: ', episode_rewards, '| total_t: ', total_t, '| epsilon: ', epsilon, '| replay mem size: ', len(replay_memory))
elif train_or_test == 'test':  # 如果是测试阶段
    print('\n Eisode: ', ep, '| time steps: ', time_steps, '| total episode reward: ', episode_rewards, '| total_t: ', total_t, '| epsilon: ', epsilon)

if train_or_test == 'train':  # 如果是训练阶段
    f = open("experiments/" + str(env.spec.id) + "/performance.txt", "a+")
    f.write(str(ep) + " " + str(time_steps) + " " + str(episode_rewards) + " " + str(total_t) + " " + str(
        epsilon) + '\n')  # 将训练结果写入文件
    f.close()

这段代码是一个强化学习训练或测试的循环。在每一次训练或测试的 episode 中，通过循环在环境中与环境交互，并根据环境的反馈进行相应的处理。

具体而言，循环中的每一步包括以下步骤：

  1. 检查当前 episode 是否结束，如果结束则跳出循环。
  2. 如果当前 episode 没有结束，则更新当前状态为下一个状态。
  3. 更新总步数 total_t 的计数。
  4. 如果是训练模式，输出当前 episode 的信息，包括 episode 编号、时间步数、总回报、总步数、当前的 epsilon 值和 replay memory 的大小，并将这些信息写入到文件中。
  5. 如果是测试模式，输出当前 episode 的信息，包括 episode 编号、时间步数、总回报、总步数、当前的 epsilon 值。
  6. 继续下一步循环，与环境进行交互，直到当前 episode 结束。

这段代码主要负责控制训练或测试过程的循环和输出相应的信息，具体的训练或测试逻辑可能在循环内的其他代码段中实现。例如，前面提到的更新 Q 网络的代码就可能在这个循环内的某个位置执行。

1.2 代码分解

1.2.1 f = open("experiments/" + str(env.spec.id) + "/performance.txt", "a+")

f = open("experiments/" + str(env.spec.id) + "/performance.txt", "a+")

这段代码打开一个文件，文件路径是根据env.spec.id生成的，并在文件末尾以追加模式（"a+"）打开。这意味着如果文件不存在，则会创建一个新文件；如果文件已存在，则会将写入的内容追加到文件末尾。

这段代码用于将训练结果写入到一个名为"performance.txt"的文件中，文件位于名为"experiments"的目录下，该目录的路径是根据env.spec.id生成的。文件中写入的内容包括回合数（ep）、步数（time_steps）、总回合奖励（episode_rewards）、总步数（total_t）和当前的epsilon值（epsilon）等信息，用空格分隔。每次写入后会自动换行（\n）。

1.2.2 f.write(str(ep) + " " + str(time_steps) + " " + str(episode_rewards) + " " + str(total_t) + " " + str( epsilon) + '\n')

f.write(str(ep) + " " + str(time_steps) + " " + str(episode_rewards) + " " + str(total_t) + " " + str(
        epsilon) + '\n')

这段代码将回合数 (ep)、步数 (time_steps)、总回合奖励 (episode_rewards)、总步数 (total_t) 和当前的 epsilon 值 (epsilon) 转换成字符串并拼接在一起，中间用空格分隔。然后将这个字符串写入到文件中。末尾的 '\n' 是换行符，用于在写入完一行后换行，使得每一行的记录都单独占据一行。这样，每次写入后都会换到下一行，保证了每一次记录都独立显示在文件中的一行。

1.2.3 f.close()

f.close()

关闭文件，确保写入的数据被保存到文件中，并释放文件对象的资源

1.2.4 env.spec.id

env.spec.id

env.spec.id 是一个用于获取 OpenAI Gym 环境的唯一标识符的属性。在强化学习任务中，环境通常由一个环境类表示，而 env.spec.id 则是该环境类的唯一标识符。

env.spec 是一个属性，它包含了环境的规格信息，包括环境的名称、版本号、唯一标识符等。env.spec.id 是其中的一个属性，表示环境的唯一标识符。这个唯一标识符通常由环境的名称和版本号组成，用于在多个环境中进行区分。

在上面提到的代码中，env.spec.id 被用作文件路径的一部分，以创建一个特定于环境的文件，用于记录训练或测试过程中的性能指标。这样可以确保每个环境的性能指标都被记录到不同的文件中，方便后续的数据分析和评估。

1.2.5 a+

a+

a+ 是 Python 文件打开模式之一，用于以追加（append）和读取（read）的方式打开文件。

具体而言，a+ 模式表示以追加方式打开文件，并允许读取文件。如果文件不存在，则会创建一个新文件。当使用 a+ 模式打开文件时，文件指针会定位到文件末尾，这意味着新的写入操作会从文件末尾开始，而读取操作会从文件开头开始。

a+ 模式通常用于在已有文件的末尾添加新的内容，并且需要在后续操作中读取文件内容，例如记录训练或测试过程中的性能指标到文件中，并在训练或测试结束后读取这些指标进行分析或展示。

天寒心亦热
关注
专栏目录
详细分析莫烦DQN代码
01-06
详细分析莫烦DQN代码 Python入门，莫烦是很好的选择，快去b站搜视频吧！ 作为一只渣渣白，去看了莫烦的强化学习入门， 现在来回忆总结下DQN，作为笔记记录下来。 主要是对代码做了详细注释 DQN有两个网络，一个eval网络，一个target网络，两个网络结构相同，只是target网络的参数在一段时间后会被eval网络更新。 maze_env.py是环境文件，建立的是一个陷阱游戏的环境，就不用细分析了。 RL_brain.py是建立网络结构的文件： 在类DeepQNetwork中，有五个函数： n_actions 是动作空间数，环境中上下左右所以是4，n_features是状态特征数，根据
DQN代码逐行详解
qq_47997583的博客
05-29 9108
主要对应用DQN算法完cartpole游戏的代码进行逐行详细解读
智能交通（6）——DQN代码复现
最新发布
保持学习
08-04 457
DQN代码复现
DQN原理和代码实现
KPer_Yang的博客
08-06 1112
DQN原理和代码实现
【强化学习】DQN及其变体网络的原理讲解和代码实现
Henry_Zhao10的博客
08-29 2422
本文总结了强化学习中DQN网络及其变体的算法原理和代码实现，包括Double DQN，Dueling DQN等
【深度强化学习】(1) DQN 模型解析，附Pytorch完整代码
热门推荐
博观而约取，厚积而薄发
03-10 3万+
DQN（Deep Q Network）是深度神经网络和 Q-Learning 算法相结合的一种基于价值的深度强化学习算法。DQN 同时用到两个结构相同参数不同的神经网络，区别是一个用于训练，另一个不会在短期内得到训练.通过采用第二个未经训练的网络，可以确保 “目标 Q 值” 至少在短时间内保持稳定。引入经验回放使得智能体在内存容量范围内从一开始就执行的所有动作和观察都将被存储。然后从此存储器中随机选择一批样本。
my_PDQN:我的纸张Parameterized-DQN代码
03-20
在Python编程环境中实现Parameterized-DQN，通常会涉及到以下几个核心知识点： 1. **深度学习框架**：Python中常用的深度学习库如TensorFlow或PyTorch，它们提供强大的神经网络构建和优化功能，是实现Parameterized...
MP-DQN:论文的源代码-Source code learning
03-25
Python 3.5+（已通过3.5和3.6测试） pytorch 0.4.1（1.0+应该可以，但是会慢一些） 体育馆0.10.5 麻木 点击 域 提供了实验脚本，可通过参数化操作在以下域上运行每种算法： 平台（ ） 机器人足球进球（ ） ...
Attention-DQN:Atari的深度循环注意力增强学习
04-30
您可以通过更改dqn_atari.py中的第15行来选择不同的实现训练原始DQN： python dqn_atari.py --task_name 'DQN'火车双DQN： python dqn_atari.py --ddqn --task_name 'Double_DQN'火车决斗DQN： python dqn_ata
强化学习算法-基于python的深度强化学习double-dqn算法实现
06-02
- 源代码文件：实现Double-DQN算法的Python代码，包括Q网络、目标网络的定义，环境的接口，以及训练循环等。 - 数据结构：可能包含经验回放缓冲区（Experience Replay Buffer），用于存储过去的经验以便于随机采样，...
sfc-dqn:SFC-DQN的Tensorflow实现
05-14
config.py：带宽，延迟和sfc请求的预设dqn.py：DQN算法的核心代码。 train.py：运行此文件以单独训练DQN代理： python train.py 。 它将从ckpt /加载检查点文件并继续训练，并自动将检查点保存在ckpt /中。 注意：...
DQN基本概念和算法流程（附Pytorch代码）
ningmengzhihe的博客
04-14 1万+
DQN，Deep Q Network本质上还是Q learning算法，它的算法精髓还是让Q估计​尽可能接近Q现实​，或者说是让当前状态下预测的Q值跟基于过去经验的Q值尽可能接近。在后面的介绍中Q现实​也被称为TD Target相比于Q Table形式，DQN算法用神经网络学习Q值，我们可以理解为神经网络是一种估计方法，神经网络本身不是DQN的精髓，神经网络可以设计成MLP也可以设计成CNN等等，DQN的巧妙之处在于两个网络、经验回放等trick。
DQN代码详解
weixin_43989828的博客
11-17 5763
自己用的DQN代码，大概理解了一些，随便记记 1.import部分 import torch import torch.nn as nn import torch.nn.functional as F import numpy as np from collections import deque import random 2.第一个类：构建神经网络 class Net(nn.Module): def __init__(self, state_dim, action_dim):
强化学习分享（一） DQN算法原理及实现
qq_41821562的博客
08-04 4389
（一）强化学习算法介绍DQN，顾名思义，Deep Q Learning;在传统强化学习Q-Learning的基础之上，用深度学习的神经网络来拟合函Q值函数，从而达到更好的学习效果。强化学习入门：基本思想和经典算法 - 知乎 (zhihu.com)游戏交通拥堵能源分配广告推送，机器人控制，组合与序列控制问题。目前我自己将要研究的是微电网电力资源分配问题，也是强化学习的一个小应用方向。关于。
强化学习DQN代码解析——自动驾驶
Mono的博客
10-20 2280
本次将介绍一下强化学习当中的DQN (Deep Q-Learning) 算法，并通过一个自动驾驶的案例（pytorch）来具体说明，代码如下，包含代码运行过程中会出现的一些错误的解决方法。
DQN理论基础及其代码实现【Pytorch + CartPole-v0】
一起加油~
07-07 4106
DQN理论基础及其基于Pytorch的代码实现，环境是CartPole-v0。附带完整代码实现。
强化学习——DQN算法
qq_62965644的博客
07-31 1135
这个原因在于假如在一个游戏中，我们的目标状态并不是固定，可能是一直变换的，就如这个游戏中，平衡的状态是多种多样的，那么我们一直跟踪这个目标就会变得困难，这时我们不妨固定住某一个曾经是目标的状态，让机器先尝试去达到这种状态，再去跟踪下一个固定目标状态，这样的方式会使得机器更容易找到目标状态。接下来我们需要创建一个样本池，神经网络会在这个样本池中进行学习，随后需要不断更新我们的样本池，当我们有一个新的行动时，我们应该添加新的样本，删除旧的样本，保持样本池最大数量不变。接着是价值函数（直接交给神经网络就可以了）
【深度学习】DQN网络代码详解
qq_43175355的博客
12-03 5866
前面的话 代码作者是 莫烦 大佬。在github上可以找到代码原文。同时在视频网站上可以找到 莫烦 大佬的系列教学视频。 这里我用代码注释的形式标注了所有代码的含义，同时还有部分函数方法的简单用法。各位可以看情况细细研究或者知其大概。 代码部分 """ This part of code is the DQN brain, which is a brain of the agent. All de...
2021-2-24-2
qq_37445049的博客
02-24 264
强化学习尝试-gym学习 查看gym包含的场景信息 from gym import envs import pandas as pd space_names = ['观测空间', '动作空间', '奖励范围', '最大步数'] df = pd.DataFrame(columns=space_names) env_specs = gym.envs.registry.all() for env_spec in env_specs: env_id = env_spec.id try:
dqn python代码
06-01
以下是一个简单的DQN（Deep Q-Network）的Python实现，使用TensorFlow 2.0框架： ```python import gym import tensorflow as tf import numpy as np class DQNAgent: def __init__(self, env): # 初始化环境和神经网络参数 self.env = env self.input_shape = env.observation_space.shape self.output_shape = env.action_space.n self.learning_rate = 0.001 self.gamma = 0.95 self.epsilon = 1.0 self.epsilon_decay = 0.995 self.epsilon_min = 0.01 self.memory = [] self.batch_size = 32 self.model = self.build_model() def build_model(self): # 构建神经网络模型 model = tf.keras.models.Sequential() model.add(tf.keras.layers.Dense(24, input_shape=self.input_shape, activation='relu')) model.add(tf.keras.layers.Dense(24, activation='relu')) model.add(tf.keras.layers.Dense(self.output_shape, activation='linear')) model.compile(loss='mse', optimizer=tf.keras.optimizers.Adam(lr=self.learning_rate)) return model def act(self, state): # 选择行动 if np.random.rand() <= self.epsilon: return self.env.action_space.sample() else: return np.argmax(self.model.predict(state)) def remember(self, state, action, reward, next_state, done): # 存储经验 self.memory.append((state, action, reward, next_state, done)) def replay(self): # 经验回放 if len(self.memory) < self.batch_size: return batch = np.random.choice(self.memory, self.batch_size) for state, action, reward, next_state, done in batch: target = reward if not done: target = reward + self.gamma * np.amax(self.model.predict(next_state)[0]) target_f = self.model.predict(state) target_f[0][action] = target self.model.fit(state, target_f, epochs=1, verbose=0) if self.epsilon > self.epsilon_min: self.epsilon *= self.epsilon_decay def train(self, episodes): # 开始训练 for i in range(episodes): state = self.env.reset() state = np.reshape(state, [1, self.input_shape[0]]) done = False score = 0 while not done: action = self.act(state) next_state, reward, done, info = self.env.step(action) next_state = np.reshape(next_state, [1, self.input_shape[0]]) self.remember(state, action, reward, next_state, done) state = next_state score += reward self.replay() print('Episode: %d, Score: %d, Epsilon: %.2f' % (i, score, self.epsilon)) if __name__ == "__main__": env = gym.make('CartPole-v0') agent = DQNAgent(env) agent.train(1000) ``` 这个代码实现了一个DQN智能体，用于在OpenAI Gym的CartPole任务中学习。 该智能体使用经验回放来训练其神经网络，以使其能够预测最佳行动，并且逐渐减小其随机探索率，以便更多地依赖于其神经网络的输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天寒心亦热

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值