目标网络的评估模式：target_dqn.eval()

最新推荐文章于 2024-08-02 16:37:30 发布
最新推荐文章于 2024-08-02 16:37:30 发布
阅读量261 收藏 4
点赞数 10
文章标签： 机器学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yhkkun/article/details/137527620
版权
本文解释了深度强化学习中target_dqn.eval()函数在DQN算法中的作用，特别是如何在训练和评估模式下处理Dropout和BatchNormalization层。强调了在模型评估和性能测试时正确设置评估模式的重要性，以保证结果的一致性和准确性。
摘要由CSDN通过智能技术生成

在深度强化学习（DRL）中，特别是在深度Q网络（DQN）算法的实现中，target_dqn.eval() 是一个重要的函数调用，它涉及到模型的两种模式：训练模式（train mode）和评估模式（evaluation mode，或者称为推理模式 inference mode）。

target_dqn.eval() 的作用是将目标DQN网络设置为评估模式。在这种模式下，网络中的某些层（如Dropout层和BatchNormalization层）会改变它们的行为：

  1. Dropout层：在训练模式下，Dropout层会随机地将输入张量中的一部分元素设置为0，以防止过拟合。但在评估模式下，Dropout层不会丢弃任何元素，而是会对所有元素进行缩放，以确保输出的总和与训练模式下相同（在统计意义上）。

  2. BatchNormalization层：BatchNormalization层在训练时会使用mini-batch的统计数据进行归一化，并使用可学习的缩放（gamma）和偏移（beta）参数进行调整。在评估模式下，BatchNormalization层会使用在训练阶段计算得到的运行均值和运行方差来进行归一化，而不是使用mini-batch的统计数据。

将模型设置为评估模式是很重要的，特别是在进行模型推断或评估模型性能时。如果在进行模型评估或测试时没有将模型设置为评估模式，那么由于Dropout层或BatchNormalization层的行为差异，可能会得到不一致或不可预测的结果。

在DQN算法中，目标DQN网络（target_dqn）通常用于计算目标Q值，以便稳定学习过程。因此，在计算目标Q值之前，将目标DQN设置为评估模式是很重要的，以确保得到一致且准确的目标值。

CartPole_DQN.zip
01-10
Matlab版本的深度强化学习的CartPole游戏，可运行放心参考
强化学习经典算法简述
南瓜派三蔬
11-11 762
————整理自Hands On Machine Learning with Sklearn and Tensorflow，第16章。 1.强化学习的历史 1950年左右强化学习就出现了，但却很少被人们关注。直到除了2016年3月alphaGo战胜围棋冠军李世石，alphaGo的创造者，英国的一个创业公司DeepMind在2014年被谷歌用5亿美元收购。 2.强化学习的概念 强化学习是学习这样一个软...
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）
Cyrus_May的博客
04-10 2324
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）1TD算法2. 高估问题2.1 Maximization2.1.1 数学解释2.1.2 动作价值函数的高估2.2 Bootstrapping2.3 高估是否有害3. 高估的解决方案3.1 Target Network3.1.1 Target Network的结构3.1.2 学习方式3.2 Double DQN4. 总结 1TD算法 TD Target：yt=rt+maxaQ(st+1,a
强化学习 DQN算法
weixin_45193103的博客
06-01 2718
强化学习算法可以分为三大类：（1）value based,（2） policy based 和 （3）actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。说到DQN中有值函数网络，这里简单介绍一下强化学习中的一个概念，叫值函数近似。在基本概念这篇中有讲过，一个state action pair (s,a)对应一个值函数Q(
【DQN高级技巧2】DQN高估问题：Target Network和Double DQN
qq_44319285的博客
10-17 556
DQN高级技巧：高估问题
对比TargetNetwork 和 Double DQN
KPer_Yang的博客
08-07 246
对比TargetNetwork 和 Double DQN
深度增强学习（DQN）的各种改进(一)
wjyhumor的博客
02-01 1754
DeepMind在2013年提出DQN模型称为NIPS DQN，主要是增加了经验回放（experience replay）的功能，上篇文章已经介绍。此后，相继有各种改进模型发表。 Nature DQN 由DeepMind在2015年提出，论文：Human-level control through deep reinforcement learning。主要的改进是
def save_models(self, episode): self.q_eval.save_checkpoint(self.checkpoint_dir + 'Q_eval/DDQN_q_eval_{}.pth'.format(episode)) print('Saving Q_eval network successfully!') self.q_target.save_checkpoint(self.checkpoint_dir + 'Q_target/DDQN_Q_target_{}.pth'.format(episode)) print('Saving Q_target network successfully!') 解释这段代码
06-08
在深度强化学习中，我们通常会有两个神经网络模型：一个是评估网络（q_eval），另一个是目标网络（q_target）。在每个episode结束时，我们会保存当前的模型参数，以便在下一次训练时加载这些参数。这段代码中，save_...
optimizer = optim.Adam如何应用于DQN中的评估网络和目标网络的更新，给出pytorch代码
最新发布
09-13
在DQN（Deep Q-Network）中，评估网络和目标网络的更新是通过优化器`optim.Adam`来实现的。评估网络用于预测当前状态下采取不同行动的价值，而目标网络用于计算未来状态的预期回报。这两个网络的结构相同，但参数...
【蘑菇书】PER_DQN
wq6qeg88的博客
08-02 261
DQN 经验回放的算法中的均匀采样算法，可能会忘记一些重要的、以后使用的经验数据。针对这样的问题，PER_DQN 提出了优先级经验回放（prioritized experience reolay）的技术来解决，这种方法应用到 DQN 获得了更好的效果。PER_DQN 成功的原因有：1. 提出了sum tree这样复杂度为O(logn)的高效数据结构。2. 正确估计了 weighted importance sampling.这里的 PER_DQN 的模型和 DQN 中类似，也是用的三层的MLP。
从零使用强化学习训练AI玩儿游戏(6)——使用DQN(TensorFlow)
蛋烘糕的博客
07-23 7560
接上一篇，我们来继续讲讲神经网络DQN的搭建 下面是初始化神经网络的函数 def __init__( self, n_actions, # 需要输出多少个action的值，就是控制的动作 如左右 n_features,# 要接受多少个观测状态 learning_rate=0.01,# 学习...
一切皆是映射：DQN的云计算与分布式训练方案
AI天才研究院
06-05 1232
一切皆是映射：DQN的云计算与分布式训练方案 1.背景介绍 在当今的人工智能领域,深度强化学习(Deep Reinforcement Learning, DRL)已成为解决复杂决策问题的重要工具。其中,深度Q网络(Deep Q-Network, DQN)作为DRL的经典算法之一,
DQN高级技巧
Trony的博客
08-30 2902
DQN高级技巧 DQN和TD Learning回顾 DQN 之前我们学过Q∗(s,a)Q^*(s,a)Q∗(s,a)函数，它叫做动作价值函数，它依赖于当前的状态s和动作a，它基于当前状态s给所有的动作a打分，分数反映了动作a的好坏，Agent应该执行分数最高的动作，DQN的意思是使用神经网络来近似Q∗Q^*Q∗函数，神经网络的参数记作：w。DQN的意思是用神经网络来近似Q∗Q^*Q∗函数，训练好DQN之后，使用DQN来控制Agent。DQN的输入是状态s，将s输入DQN。如下图将超级玛丽画面放入DQN中，
【强化学习】常用算法之一 “DQN”
Code_and516的博客
06-29 1153
DQN算法是深度学习领域首次广泛应用于强化学习的算法模型之一。它于2013年由DeepMind公司的研究团队提出，通过将深度神经网络与经典的强化学习算法Q-learning结合，实现了对高维、连续状态空间的处理，具备了学习与规划的能力。本文对DQN算法进行了详细的讲解，包括发展史、算法公式和原理、功能、示例代码以及如何使用。DQN算法通过结合深度学习和Q-learning算法，实现了对高维、连续状态空间的处理，具备了学习和规划的能力。
DQN笔记：高估问题 & target network & Double DQN
qq_40206371的博客
05-26 4410
Q 学习算法有一个缺陷：用 Q 学习训练出的 DQN 会高估真实的价值，而且高估通常是非均匀的。 这个缺陷导致 DQN 的表现很差。 高估问题并不是 DQN 本身的缺陷，而是训练 DQN 用的 Q 学习算法的缺陷。 1 自举（bootstrapping）导致的偏差传播 1.1 DQN参数更新（回顾） Q-learning 算法每次从经验回放数组 (Replay Buffffer) 中抽取一个四元组。然后执行以下步骤，对 DQN 的参数做一轮更新： 1，计算TD目标 ——&...
强化学习算法DQN：算法简介、创新点：回放机制&target-network、伪代码、算法理解、代码实现、tensorboard展示网络结构
我的AI笔记
07-19 7391
！
深度强化学习——DQN
草帽BOY的博客
06-05 11万+
DQN（Deep Q-Learning）可谓是深度强化学习（Deep Reinforcement Learning）的开山之作，是将深度学习与增强学习结合起来从而实现从感知（Perception）到动作（ Action ）的端对端（End-to-end）学习的一种全新的算法。
强化学习—DQN算法原理详解
热门推荐
binbigdata的博客
01-23 17万+
强化学习—DQN算法原理详解 一、 概述 强化学习算法可以分为三大类：value based, policy based 和 actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。 说到DQN中有值函数网络，...
【强化学习】Deep Q Network(DQN)算法详解
shura的技术空间
06-20 10万+
DQN（Deep Q-Learning）是将深度学习deeplearning与强化学习reinforcementlearning相结合，实现了从感知到动作的端到端的革命性算法。使用DQN玩游戏的话简直6的飞起，其中fladdy bird这个游戏就已经被DQN玩坏了。当我们的Q-table他过于庞大无法建立的话，使用DQN是一种很好的选择 1、算法思想 DQN与Qleanring类似...
lr = 2e-3 num_episodes = 500 hidden_dim = 128 gamma = 0.98 epsilon = 0.01 target_update = 10 buffer_size = 10000 minimal_size = 500 batch_size = 64 device = torch.device("cuda") if torch.cuda.is_available() else torch.device( "cpu") env_name = 'CartPole-v1' env = gym.make(env_name) random.seed(0) np.random.seed(0) #env.seed(0) torch.manual_seed(0) replay_buffer = ReplayBuffer(buffer_size) state_dim = env.observation_space.shape[0] action_dim = env.action_space.n agent = DQN(state_dim, hidden_dim, action_dim, lr, gamma, epsilon, target_update, device) return_list = [] episode_return = 0 state = env.reset()[0] done = False while not done: action = agent.take_action(state) next_state, reward, done, _, _ = env.step(action) replay_buffer.add(state, action, reward, next_state, done) state = next_state episode_return += reward # 当buffer数据的数量超过一定值后,才进行Q网络训练 if replay_buffer.size() > minimal_size: b_s, b_a, b_r, b_ns, b_d = replay_buffer.sample(batch_size) transition_dict = { 'states': b_s, 'actions': b_a, 'next_states': b_ns, 'rewards': b_r, 'dones': b_d } agent.update(transition_dict) if agent.count >=200: #运行200步后强行停止 agent.count = 0 break return_list.append(episode_return) episodes_list = list(range(len(return_list))) plt.plot(episodes_list, return_list) plt.xlabel('Episodes') plt.ylabel('Returns') plt.title('DQN on {}'.format(env_name)) plt.show()对上述代码的每一段进行注释，并将其在段落中的作用注释出来
06-12
``` lr = 2e-3 # 学习率 num_episodes = 500 # 训练的总Episode数 hidden_dim = 128 # 隐藏层维度 gamma = 0.98 # 折扣因子 epsilon = 0.01 # ε贪心策略中的ε值 target_update = 10 # 目标网络更新频率 buffer_size = 10000 # 经验回放缓冲区的最大容量 minimal_size = 500 # 经验回放缓冲区的最小容量，达到此容量后才开始训练 batch_size = 64 # 每次训练时的样本数量 device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu") # 选择CPU或GPU作为运行设备 env_name = 'CartPole-v1' # 使用的环境名称 env = gym.make(env_name) # 创建CartPole-v1环境 random.seed(0) # 随机数生成器的种子 np.random.seed(0) # 随机数生成器的种子 torch.manual_seed(0) # 随机数生成器的种子 replay_buffer = ReplayBuffer(buffer_size) # 创建经验回放缓冲区 state_dim = env.observation_space.shape[0] # 状态空间维度 action_dim = env.action_space.n # 动作空间维度（离散动作） agent = DQN(state_dim, hidden_dim, action_dim, lr, gamma, epsilon, target_update, device) # 创建DQN智能体 return_list = [] # 用于存储每个Episode的回报 episode_return = 0 # 每个Episode的初始回报为0 state = env.reset()[0] # 环境的初始状态 done = False # 初始状态下没有结束 ``` 以上代码是对程序中所需的参数进行设置和初始化，包括学习率、训练的总Episode数、隐藏层维度、折扣因子、ε贪心策略中的ε值、目标网络更新频率、经验回放缓冲区的最大容量、经验回放缓冲区的最小容量、每次训练时的样本数量、运行设备、使用的环境名称等等。同时，创建了经验回放缓冲区、DQN智能体和用于存储每个Episode的回报的列表，以及初始化了环境状态和结束标志。 ``` while not done: action = agent.take_action(state) # 智能体根据当前状态选择动作 next_state, reward, done, _, _ = env.step(action) # 环境执行动作，观测下一个状态、奖励和结束标志 replay_buffer.add(state, action, reward, next_state, done) # 将当前状态、动作、奖励、下一个状态和结束标志添加到经验回放缓冲区中 state = next_state # 更新状态 episode_return += reward # 累加当前Episode的回报 ``` 以上代码是智能体与环境的交互过程，智能体根据当前状态选择动作，环境执行动作并返回下一个状态、奖励和结束标志，将当前状态、动作、奖励、下一个状态和结束标志添加到经验回放缓冲区中，更新状态，并累加当前Episode的回报。 ``` if replay_buffer.size() > minimal_size: # 当经验回放缓冲区的数据量达到最小容量时，开始训练 b_s, b_a, b_r, b_ns, b_d = replay_buffer.sample(batch_size) # 从经验回放缓冲区中采样样本 transition_dict = { 'states': b_s, 'actions': b_a, 'next_states': b_ns, 'rewards': b_r, 'dones': b_d } agent.update(transition_dict) # 智能体根据样本更新Q网络 if agent.count >=200: # 运行200步后强行停止 agent.count = 0 break ``` 以上代码是经验回放和Q网络更新过程，当经验回放缓冲区的数据量达到最小容量时，从经验回放缓冲区中采样样本，智能体根据样本更新Q网络。同时，当运行步数超过200步时，强制停止训练。 ``` return_list.append(episode_return) # 将当前Episode的回报添加到回报列表中 ``` 以上代码是将当前Episode的回报添加到回报列表中。 ``` episodes_list = list(range(len(return_list))) # 横坐标为Episode序号 plt.plot(episodes_list, return_list) # 绘制Episode回报随序号的变化曲线 plt.xlabel('Episodes') plt.ylabel('Returns') plt.title('DQN on {}'.format(env_name)) plt.show() ``` 以上代码是绘制Episode回报随序号的变化曲线。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值