pytorch中self.xxx = nn.Linear和drop_out layer的作用

最新推荐文章于 2024-04-02 15:08:33 发布
最新推荐文章于 2024-04-02 15:08:33 发布
阅读量2.8k 收藏 5
点赞数
分类专栏： 深度学习模型代码详解 文章标签： 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zghnwsc/article/details/115575811
版权
本文介绍了PyTorch中的线性变换层nn.Linear和Dropout层的作用。nn.Linear用于对输入数据进行线性变换，Dropout层则通过随机设置部分元素为0来增加模型的泛化能力。nn.Dropout、nn.Dropout2d和nn.Dropout3d分别对应不同维度的Dropout操作，用于提高特征图之间的独立性。
摘要由CSDN通过智能技术生成 
class torch.nn.Linear(in_features, out_features, bias=True)

作用：对输入数据做线性变换：y=Ax+b

参数：

in_features - 每个输入样本的大小
out_features - 每个输出样本的大小
bias - 若设置为False，这层不会学习偏置。默认值：True

形状：
输入: (N,in_features)
输出： (N,out_features)

变量：
weight -形状为(out_features x in_features)的模块中可学习的权值
bias -形状为(out_features)的模块中可学习的偏置

例子：

>>> m = nn.Linear(20, 30)
>>> input = autograd.Variable(torch.randn(128, 20))
最低0.47元/天 解锁文章
zghnwsc
关注
专栏目录
xxx.rar_xxxnn_数字 积分 算法_数字积分_数字积分算法_积分数字提取
09-20
数字积分算法 数字积分算法 数字积分算法 数字积分算法
理解dropout
雨石
10-10 37万+
开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。 dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。在下读到两篇代表性的论文，代表两种不同的观点，特此分享给大家。
9.2 Dropout
liupc的学习笔记
10-06 411
一、Dropout的概念 二、Dropout的使用 一、Dropout概念 随机失活。随机是指：有一定的概率让神经元失去活性。失活：权重等于0. 看如下示意图： 左边是正常的全连接神经网络。右边是加了dropout,打×的是失活了。 这就可以让神经元学习到更鲁棒的特征，减轻过度的依赖性，从而缓解了过拟合，降低方差，达到正则化的效果。 这个操作也会使得我们的模型更加多样化，因为每一次进行前向传播，神经元都是随机失活，所训练的模型都是不一样的。 为什么可以得到正则化的效果呢？可以..
丢弃法(Dropout)——原理及代码实现
weixin_44042453的博客
08-07 7063
丢弃法(Dropout)原理及代码实现
nn.Dropout和F.dropout的理解与使用
qq_45770988的博客
05-08 1183
Dropout是减少过拟合并提高模型泛化能力的一个大杀器。一般只有训练时才使用 Dropout，在验证或测试时不需要使用 Dropout对于神经网络单元，按照一定的概率将其暂时从网络中丢弃.（随机丢弃神经元）Dropout一般用在全连接神经网络映射层之后，如代码的nn.Linear(20, 30)之后每次做完dropout，相当于从原始的网络中找到一个更瘦的网络，如下图所示：在训练CNN网络的时候，常常会使用dropout来使得模型具有更好的泛化性，并防止过拟合。
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
在PyTorch中，`nn.ModuleList`和`nn.Sequential`是两种用于构建神经网络结构的重要工具。它们都是`nn.Module`的子类，但它们的功能和使用方式有所不同。 首先，`nn.Sequential`是一个序列化的模块集合，它允许你...
浅析PyTorch中nn.Linear的使用
09-18
在PyTorch框架中，nn.Linear模块是一个非常重要的组件，它是实现线性变换的基本单元。nn.Linear模块可以应用在神经网络的全连接层中，通过其前向传播方法实现了线性变换，即从输入特征到输出特征的映射。 首先，...
pytorch_model.bin
最新发布
09-25
pytorch_model.bin
浅析PyTorch中nn.Module的使用
09-18
在PyTorch中，`nn.Module`是构建神经网络的核心组件。它是一个基类，用于定义自定义的神经网络模块，这些模块可以是简单的层（如卷积层、全连接层）或者是整个复杂的网络结构。`nn.Module`不仅包含网络的参数，还...
【Pytorch】nn.Dropout的用法
weixin_47050107的博客
01-27 4万+
【Pytorch】nn.Dropout的用法
torch.nn.Linear()函数理解
u013925378的博客
12-03 2万+
函数：class torch.nn.Linear（in_features，out_features，bias = True） 源码： 从init函数中可以看出Linear中包含四个属性： 1）in_features: 上层神经元个数【每个输入样本的大小】 2）out_features： 本层神经元个数【每个输出样本的大小】 3）weight：权重，形状[out_features , ...
Pytorch学习：卷积神经网络—nn.Conv2d、nn.MaxPool2d、nn.ReLU、nn.Linear和nn.Dropout
qq_38473254的博客
09-05 1216
在训练期间，使用来自伯努利分布的样本以概率 p 随机地将输入张量的一些元素归零。打开命令行，输入以下代码，并打开TensorBoard的链接： http://localhost:6006/其中包括对卷积操作中卷积核的计算、填充、步幅以及最大值池化的操作。最大值池化层，对由多个输入平面组成的输入信号应用2D最大池化。使用CIFAR10数据进行卷积操作，并进行可视化操作。对由多个输入平面组成的输入信号应用2D卷积。卷积核通过选取内核大小，其中参数值是随机的。最大汇聚层，也叫做最大池化层，代码实现。
PyTorch的nn.Linear（）详解
热门推荐
qq_42079689的博客
11-02 45万+
  PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即...
nn.Dropout含义和作用
ym62033的博客
04-02 830
让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效。以提高模型的泛化能力，减少过拟合。Dropout属于一种正则化技术。Dropout的probability，实践中最常用的是0.5(或0.1，0.05)而没有置零的也是除以了0.7，比如第一行第二列的0.4258，0.4258/0.7=0.6083。Dropout字面意思就是“丢掉”，是为了。可以看到，output中有些值已经被随机置。防止神经网络出现过拟合。
李沐动手学深度学习笔记---AlexNet
qq_61434667的博客
07-27 715
李沐动手学深度学习笔记---AlexNet
线性回归的简洁实现
白羊by的博客
06-20 827
博客主要将李沐大神的《动手学pytorch》中的代码进行了详细的注释，为了自己以后复习的时候方便。
深度学习&PyTorch笔记 （1）线性回归模型
weixin_38673966的博客
09-30 641
首先建立模型 class LinearRegression(nn.Module): def __init__(self): super(LinearRegression, self).__init__() # nn.Module 的初始化函数 self.linear = nn.Linear(1, 1) def forward(self, x...
Pytorch模型层简单介绍
瞳瞳瞳呀
07-02 1265
模型层layers 深度学习模型一般由各种模型层组合而成。 torch.nn中内置了非常丰富的各种模型层。它们都属于nn.Module的子类，具备参数管理功能。 例如： nn.Linear, nn.Flatten, nn.Dropout, nn.BatchNorm2d nn.Conv2d,nn.AvgPool2d,nn.Conv1d,nn.ConvTranspose2d nn.Embedding,nn.GRU,nn.LSTM nn.Transformer 如果这些内置模型层不能够满足需求，我们也可以通过继承
dropout层的添加，L2正则化
weixin_62848630的博客
04-23 1805
dropout 一般添加在线性层，要给某一线性层添加dropout，dropout函数一般写在此线性层的前面。同济自豪兄好像把dropout写在了此线性层的后面。
class Mlp(nn.Module): def __init__(self, in_features, hidden_features=None, out_features=None, act_layer=nn.GELU, drop=0.): super().__init__() out_features = out_features or in_features hidden_features = hidden_features or in_features self.fc1 = nn.Linear(in_features, hidden_features) self.act = act_layer() self.fc2 = nn.Linear(hidden_features, out_features) self.drop = nn.Dropout(drop)是什么意思
07-14
这段代码定义了一个多层感知机（Multi-Layer Perceptron，MLP）的神经网络模型。下面是每个部分的解释： - `class Mlp(nn.Module):`：定义了一个名为`Mlp`的类，并继承自`nn.Module`，这意味着它是一个PyTorch模型。 - `def __init__(self, in_features, hidden_features=None, out_features=None, act_layer=nn.GELU, drop=0.):`：定义了类的初始化函数，用于初始化模型的参数。 - `super().__init__()`：调用父类（`nn.Module`）的初始化函数。 - `out_features = out_features or in_features`和`hidden_features = hidden_features or in_features`：如果未指定输出特征和隐藏特征的数量，则将它们设置为输入特征的数量。 - `self.fc1 = nn.Linear(in_features, hidden_features)`：定义了一个全连接层(`nn.Linear`)，它将输入特征映射到隐藏特征。 - `self.act = act_layer()`：定义激活函数层，这里使用的是`act_layer`参数指定的激活函数（默认为`nn.GELU`）。 - `self.fc2 = nn.Linear(hidden_features, out_features)`：定义了另一个全连接层，它将隐藏特征映射到输出特征。 - `self.drop = nn.Dropout(drop)`：定义了一个Dropout层，用于在训练过程中随机丢弃一部分神经元，以减少过拟合风险。 这段代码的作用是创建一个MLP模型，并定义了模型的结构和参数。具体的使用方式需要根据实际情况进行调用和训练。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值