当网络中有BN层时强化学习选择动作时的处理方式——eval()

最新推荐文章于 2023-02-03 15:11:38 发布
最新推荐文章于 2023-02-03 15:11:38 发布
阅读量1.1k 收藏 1
点赞数 1
文章标签： 强化学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42547302/article/details/121467162
版权

在训练网络时，加了BN层，所以在训练时，需要用

model.eval()

固定住BN，此时用的是历史的mean和var
强化学习在做choose_action时，单条数据进神经网络，容易出现错误

RuntimeError: running_mean should contain 1 elements not ***”

这里需要把s加一个维度，变成二维

s = torch.unsqueeze(torch.FloatTensor(s), 0)

此时的s长这样

tensor([[1.,2.,3.]])

进入神经网络之后，即可正常得到a

安大许光汉
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch中eval()对BN层的影响
罟霖同学的站点
04-17 1329
分析了pytorch中BN层是如何切换训练、推断时的运行模式的。
torch中的model.eval()、model.train()详解
you 是 mine
05-23 2450
torch中的model.eval()、model.train()详解
model.eval 至关重要！！！！model.eval()是否开启 BN 和 Dropout 的不同
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
12-01 2313
.
【pytorch系列】model.eval()用法详解
sazass的博客
05-11 3万+
格式： model.eval() 作用： 主要是针对model 在训练时和评价时不同的 Batch Normalization 和 Dropout 方法模式。 Batch Normalization 其作用对网络中间的每层进行归一化处理，并且使用变换重构（Batch Normalization Transform）保证每层提取的特征分布不会被破坏。训练时是针对每个mini-batch的，但是测试是针对单张图片的，即不存在batch的概念。由于网络训练完成后参数是固定的，每个batch的均值和方差是不变
pytorch train和eval 效果不同的原因
yunshangyue的博客
02-03 522
pytorch
浅谈pytorch中的BN层的注意事项
09-16
在PyTorch中，Batch Normalization（BN）层是一个重要的模块，用于加速深度神经网络的训练过程并提高模型的泛化能力。BN层通过规范化每一层的激活输出，使其接近于均值为0，方差为1的标准正态分布，从而稳定网络的...
MatLab强化学习_深度Q学习_神经网络_网格迷宫问题
03-05
MatLab强化学习代码包，为使用深度Q学习解决网格迷宫问题的代码。 详细说明可参看我的专栏《强化学习与控制》 https://blog.csdn.net/weixin_43723517/category_9676083.html "I thought what I'd do was I'd ...
为什么JS中eval处理JSON数据要加括号
10-24
然而，当涉及到处理JSON（JavaScript Object Notation）数据时，直接使用`eval()`可能会遇到问题，因此通常会在JSON字符串前添加一对括号。这个习惯做法源于解决`eval()`在特定情况下的行为差异。 JSON是一种轻量级...
DQN深度强化学习解决三维在线装箱问题python源码+项目说明.zip
最新发布
04-08
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为...改进的方向：调整强化学习网络的参数，选择更加合适的参数。
Pytorch(4)-模型保存-载入-eval()
sinat_40624829的博客
07-20 3938
模型保存与提取1.网络保存2. 网络提取3.GPU/CPU模型保存与导入 神经网络模型在线训练完之后需要保存下来，以便下次使用时可以直接导入已经训练好的模型。pytorch 提供两种方式保存模型，一种是直接保存整个模型，另一种只保存模型参数。 1.网络保存 torch.save(net1, ‘net.pkl’) # 保存整个网络 torch.save(net1.state_dict(), ...
pytorch中model.eval的作用
大山的专栏
05-09 3万+
pytorch中model.eval()的作用 问题描述： torch.onnx.export()导出onnx模型后，利用onnxruntime加载onnx模型后，其输出结果与原始.pth模型的输出结果之间存在很大的差距；通过拆分网络结构，定位到nn.BatchNorm2d()层导致； Batch Normalization和Dropout Batch Normalization 其作用对网络中间的每层进行归一化处理，并且使用变换重构（Batch Normalization Transform）保证每层提
jupyter和ipython区别_1 Ipython、Jupyter 入门
weixin_39560002的博客
11-28 241
为什么使用Python进行数据分析：1 Python大量的库为数据分析和处理提供了完整的工具集2 比起R和Matlab等其他主要用于数据分析的编程语言，Python更全能3 Python库一直在增加，算法的实现采用更具有创新性的方法4 Python能和很多语言对接，例如高效的C语言===================================什么是Ipython？在数据分析时用的是Ipyt...
强化学习 8 —— DQN 代码 Tensorflow 2.0 实现
靡不有初鲜克有终
08-10 1万+
在上一篇文章强化学习——DQN介绍 中我们详细介绍了DQN 的来源，以及对于强化学习难以收敛的问题DQN算法提出的两个处理方法：经验回放和固定目标值。这篇文章我们就用代码来实现 DQN 算法 一、环境介绍 1、Gym 介绍 本算法以及以后文章要介绍的算法都会使用 由 OpenAIOpenAIOpenAI 推出的GymGymGym仿真环境， GymGymGym 是一个研究和开发强化学习相关算法的仿真平台，了许多问题和环境（或游戏）的接口，而用户无需过多了解游戏的内部实现，通过简单地调用就可以用来测试和仿真，并
pytorch中的model.eval()和BN层
weixin_30684743的博客
11-19 2333
class ConvNet(nn.module): def __init__(self, num_class=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),...
pytorch eval
jacke121的专栏
01-02 2778
pytorch中的model.eval()和BN层 class ConvNet(nn.module): def __init__(self, num_class=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, s...
pytorch中的BN层简介
lpj822的专栏
11-18 6866
pytorch中的BN层简介简介pytorch里BN层的具体实现过程momentum的定义冻结BN及其统计数据 简介 BN层在训练过程中,会将一个Batch的中的数据转变成正太分布,在推理过程中使用训练过程中的参数对数据进行处理,然而网络并不知道你是在训练还是测试阶段,因此,需要手动的加上,需要在测试和训练阶段使用如下函数。 model.train() or model.eval() 在Pytorch中，BN层的类的参数有： torch.nn.BatchNorm2d(num_features, eps=1
BN层详解
热门推荐
王小波的博客
05-11 5万+
批量归一化（BN：Batch Normalization：解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度） 1、为什么输入数据需要归一化（Normalized Data）？ 归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，...
Pytorch中的Batch Normalization layer踩坑
xiaojiajia007的博客
05-12 1万+
1. 注意momentum的定义 Pytorch中的BN层的动量平滑和常见的动量法计算方式是相反的，默认的momentum=0.1 x^ new =(1− momentum )×x^+ momemtum ×xt \hat{x}_{\text { new }}=(1-\text { momentum }) \times \hat{x}+\t...
Pytorch 模型训练模式和eval模型下差别巨大（Pytorch train and eval）附解决方案
xiaoxifei的专栏
05-29 9334
当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大，这种差别经过逐层查看，主要来源于使用了BN，在eval下，使用的BN是一个固定的running rate，而在train下这个running rate会根据输入发生改变。 解决方案是冻住bn def freeze_bn(m): if isinstance(m, nn.BatchNorm2d...
set_bn_eval（）函数在深度学习中有什么用
04-17
set_bn_eval()函数用于设置Batch Normalization层的模式。在训练模式下，Batch Normalization层计算的均值和方差是基于批次数据的统计信息来计算的，而在测试模式下，均值和方差是基于整个训练集数据的统计信息来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值