pytorch中self.xxx = nn.Linear和drop_out layer的作用

最新推荐文章于 2024-04-02 15:08:33 发布
最新推荐文章于 2024-04-02 15:08:33 发布
阅读量2.8k 收藏 5
点赞数
分类专栏： 深度学习模型代码详解 文章标签： 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zghnwsc/article/details/115575811
版权
本文介绍了PyTorch中的线性变换层nn.Linear和Dropout层的作用。nn.Linear用于对输入数据进行线性变换，Dropout层则通过随机设置部分元素为0来增加模型的泛化能力。nn.Dropout、nn.Dropout2d和nn.Dropout3d分别对应不同维度的Dropout操作，用于提高特征图之间的独立性。
摘要由CSDN通过智能技术生成 
class torch.nn.Linear(in_features, out_features, bias=True)

作用：对输入数据做线性变换：y=Ax+b

参数：

in_features - 每个输入样本的大小
out_features - 每个输出样本的大小
bias - 若设置为False，这层不会学习偏置。默认值：True

形状：
输入: (N,in_features)
输出： (N,out_features)

变量：
weight -形状为(out_features x in_features)的模块中可学习的权值
bias -形状为(out_features)的模块中可学习的偏置

例子：

>>> m = nn.Linear(20, 30)
>>> input = autograd.Variable(torch.randn(128, 20))
最低0.47元/天 解锁文章
zghnwsc
关注
专栏目录
YOLOv10改进 | 主干/Backbone篇 | UniRepLknet特征提取网络（附对比试验效果图）
Snu77的博客
07-14 1081
本文给大家带来的改进机制是特征提取网络，该网络结构的重点在于使用Dilated Reparam Block和大核心指导原则，强调了高效的结构进行通道间通讯和空间聚合，以及使用带扩张的小核心进行重新参数化，该网络结构就是在LKNet基础上的一个升级版本，LKNet我们之前已经出过教程了。在各种视觉任务中，包括图像分类、目标检测和语义分割，都显示出优异的性能。欢迎大家订阅我的专栏一起学习YOLO！YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍。
9.2 Dropout
liupc的学习笔记
10-06 398
一、Dropout的概念 二、Dropout的使用 一、Dropout概念 随机失活。随机是指：有一定的概率让神经元失去活性。失活：权重等于0. 看如下示意图： 左边是正常的全连接神经网络。右边是加了dropout,打×的是失活了。 这就可以让神经元学习到更鲁棒的特征，减轻过度的依赖性，从而缓解了过拟合，降低方差，达到正则化的效果。 这个操作也会使得我们的模型更加多样化，因为每一次进行前向传播，神经元都是随机失活，所训练的模型都是不一样的。 为什么可以得到正则化的效果呢？可以..
理解dropout
热门推荐
雨石
10-10 37万+
开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。 dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。在下读到两篇代表性的论文，代表两种不同的观点，特此分享给大家。
Pytorch学习：卷积神经网络—nn.Conv2d、nn.MaxPool2d、nn.ReLU、nn.Linear和nn.Dropout
qq_38473254的博客
09-05 1131
在训练期间，使用来自伯努利分布的样本以概率 p 随机地将输入张量的一些元素归零。打开命令行，输入以下代码，并打开TensorBoard的链接： http://localhost:6006/其中包括对卷积操作中卷积核的计算、填充、步幅以及最大值池化的操作。最大值池化层，对由多个输入平面组成的输入信号应用2D最大池化。使用CIFAR10数据进行卷积操作，并进行可视化操作。对由多个输入平面组成的输入信号应用2D卷积。卷积核通过选取内核大小，其中参数值是随机的。最大汇聚层，也叫做最大池化层，代码实现。
model.train()与model.eval()的用法、Dropout原理、relu,sigmiod,tanh激活函数、nn.Linear浅析
qq_37844044的博客
08-23 1021
转载：原文地址-传送门 1.model.train()与model.eval()的用法 看别人的面经时，浏览到一题，问的就是这个。自己刚接触pytorch时套用别人的框架，会在训练开始之前写上model.trian()，在测试时写上model.eval()。然后自己写的时候也就保留了这个习惯，没有去想其中原因。 在经过一番查阅之后，总结如下： 如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中m
Dropout
莱尼的博客
02-27 474
Training of Dropout Dropout的做法是每次对一个batch训练集做训练前对network中的每一个neuron（包括input layer的neuron），做sampling(抽样) ，每个neuron都有p%的几率会被丢掉，如果某个neuron被丢掉的话，跟它相连的权值www也都要被丢掉，剩下的neuron组成一个thinner network，batch训练集中的data全部以此dropout后的这个thinner network为结构做训练，并计算损失更新参数。
nn.Dropout2d(p=0.2)
08-21
- *2* *3* [pytorch中self.xxx = nn.Linear和drop_out layer的作用](https://blog.csdn.net/zghnwsc/article/details/115575811)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
Pytorch小结
u012777971的博客
09-29 576
官方文档：官方帮助 Pytorch安装（Windows） 使用anaconda管理工具安装，命令为： conda install pytorch torchvision 安装时常常会找不到资源，建议添加清华源镜像之后再执行上述命令，添加方式如下： conda config –add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pk...
基于PyTorch深度学习 -- Part1
范高伦的博客
12-30 5507
Python深度学习（基于PyTorch） 第一部分 PyTorch基础 一、Numpy 基础 生成numpy数组–从已有数据中创建数组 直接对python的基础数据类型（如列表、元组等）进行转换来生成ndarray: 将列表转换成ndarray: import numpy as np lst1 = [3.14,2.17,0,1,2] nd1 = np.array(lst1) print(nd...
Caffe Prototxt 特征层系列：Dropout Layer
Mingx9527
01-11 958
message DropoutParameter { optional float dropout_ratio = 1 [default = 0.5]; // dropout ratio } // DummyDataLayer fills any number of arbitrarily shaped blobs with random // (or constant) data generat...
丢弃法(Dropout)——原理及代码实现
weixin_44042453的博客
08-07 6755
丢弃法(Dropout)原理及代码实现
nn.Dropout含义和作用
最新发布
ym62033的博客
04-02 674
让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效。以提高模型的泛化能力，减少过拟合。Dropout属于一种正则化技术。Dropout的probability，实践中最常用的是0.5(或0.1，0.05)而没有置零的也是除以了0.7，比如第一行第二列的0.4258，0.4258/0.7=0.6083。Dropout字面意思就是“丢掉”，是为了。可以看到，output中有些值已经被随机置。防止神经网络出现过拟合。
【Pytorch】nn.Dropout的用法
weixin_47050107的博客
01-27 4万+
【Pytorch】nn.Dropout的用法
深度学习之用PyTorch实现线性回归
Chunghyyn的博客
08-01 998
代码中model.parameters()函数保存的是Weights和Bais参数的值。但是对于其他网络（非线性）来说这个函数可以用吗，里面也是保存的w和b吗？
pytorch实现线性回归总结
RocZhang的博客
01-19 882
练习pytorch，记录自己的理解，好记性不如烂笔头！ 第一步：生成数据集： num_inputs = 2 num_examples = 1000 true_w = [2, -3.4] true_b = 4.2 features = torch.tensor(np.random.normal(0, 1, (num_examples, num_inputs)), dtype=torch.float) labels = true_w[0] * features[:, 0] + true_w[1]
Dropout的深入理解（基础介绍、模型描述、原理深入、代码实现以及变种）
艰难困苦，玉汝于成。
02-09 1万+
深度神经网络包含多个非线性隐藏层，这使得它们有强大的表现力，可以学习输入和输出之间非常复杂的关系。但是在训练数据有限的情况下，深度神经网络很容易过度学习造成过拟合，过拟合是深度神经网络的一个非常严重的问题，此外，神经网络越大，训练速度越慢，Dropout可以通过在训练神经网络期间随机丢弃单元来防止过拟合，实验证明Dropout有很好的效果。
【Pytorch神经网络理论篇】 15 过拟合问题的优化技巧（二）：Dropout()方法
小李的研究生学习日记
03-14 7870
1 Dropout方法 2.1 Dropout原理 在训练过程中，每次随机选择一部分节点不去进行学习。 2.1.1 从Dropout原理来看过拟合的原因 任何一个模型不能完全把数据分开，在某一类中一定会有一些异常数据，过拟合的问题恰恰是把这些异常数据当成规律来学习了。 2.1.2 异常数据的特点 异常数据的特点：与主流样本中的规律不同，在一个样本中出现的概率要比主流数据出现的概率低很多。在每次训练中，忽略模型中一些节点，将小概率的异常数据获得学习的机会变得更低。这样，异常数据对模型的影响就会
Idea 常用模板处理回顾
zjn640322的博客
10-05 2341
1.psvm的用法 在一个类中输入psvm后回车，就会出现一个main方法。 2.sout及其相关用法 sout的用法 在一个方法中输入sout后回车，就会出现我们常用的输出语句了。 soutp的用法 使用soutp可以打印一个方法的形参。 soutm的用法 使用soutm可以以"类名.方法名"的形式打印出一个方法的方法名。 soutv的用法 使用soutv主要有以下五种用法： 1.有形参的，直接打印形参； 2.没有形参，有变量的，打印变量； 3.没有形参，有多个变量的，打印最后一.
class Mlp(nn.Module): def __init__(self, in_features, hidden_features=None, out_features=None, act_layer=nn.GELU, drop=0.): super().__init__() out_features = out_features or in_features hidden_features = hidden_features or in_features self.fc1 = nn.Linear(in_features, hidden_features) self.act = act_layer() self.fc2 = nn.Linear(hidden_features, out_features) self.drop = nn.Dropout(drop)是什么意思
07-14
这段代码定义了一个多层感知机（Multi-Layer Perceptron，MLP）的神经网络模型。下面是每个部分的解释： - `class Mlp(nn.Module):`：定义了一个名为`Mlp`的类，并继承自`nn.Module`，这意味着它是一个PyTorch模型。 - `def __init__(self, in_features, hidden_features=None, out_features=None, act_layer=nn.GELU, drop=0.):`：定义了类的初始化函数，用于初始化模型的参数。 - `super().__init__()`：调用父类（`nn.Module`）的初始化函数。 - `out_features = out_features or in_features`和`hidden_features = hidden_features or in_features`：如果未指定输出特征和隐藏特征的数量，则将它们设置为输入特征的数量。 - `self.fc1 = nn.Linear(in_features, hidden_features)`：定义了一个全连接层(`nn.Linear`)，它将输入特征映射到隐藏特征。 - `self.act = act_layer()`：定义激活函数层，这里使用的是`act_layer`参数指定的激活函数（默认为`nn.GELU`）。 - `self.fc2 = nn.Linear(hidden_features, out_features)`：定义了另一个全连接层，它将隐藏特征映射到输出特征。 - `self.drop = nn.Dropout(drop)`：定义了一个Dropout层，用于在训练过程中随机丢弃一部分神经元，以减少过拟合风险。 这段代码的作用是创建一个MLP模型，并定义了模型的结构和参数。具体的使用方式需要根据实际情况进行调用和训练。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值