torch.nn.Linear进行线性运算的流程

已于 2022-04-22 20:26:58 修改
阅读量1.3k 收藏
点赞数 1
分类专栏： PyTorch深度学习实践 文章标签： pytorch 深度学习 机器学习
于 2021-12-23 13:50:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44347925/article/details/122105171
版权
本文详细介绍了torch.nn.Linear模块的工作原理，通过实例展示了如何进行线性变换，解释了输入和权重如何相互作用以生成输出。
摘要由CSDN通过智能技术生成 
m = torch.nn.Linear(2, 4)
m.weight
#Out[2]: 
#Parameter containing:
#tensor([[-0.6660,  0.1373],
#        [ 0.2986,  0.4758],
#        [-0.2398,  0.2945],
#        [-0.1975,  0.6900]], requires_grad=True)
m.weight.shape
#Out[21]: torch.Size([4, 2])
m.
最低0.47元/天 解锁文章
LuLu-jianfeng
关注
专栏目录
Pytorch nn.Linear 全连接层的原理和作用（个人理解）
m0_51032217的博客
04-12 1万+
一、官网说明： 二、个人理解 对CNN来说图片以batchsize的大小并行送入神经网络，经过一些卷积，到最后送入全连接层进行分类，送入全连接层之前的每个特征图已经被拉平（变成1xn的形式，这里的n就是x中的3,x中的10代表有10个1），所以下面的x中的10行可以理解为batchsize（即10张图片），x中的3列可以理解为每个图片被提取了3个特征，最后的y可以理解为对这10个图片进行一个5分类，分类的结果为这5个数中最大的那个数所对应的索引，具体分类的结果为索引对应的类别。 三、计...
torch.nn.Linear的维度变换过程详解（有图有公式有代码）
最新发布
weixin_44115575的博客
08-05 1240
当初在学习nn.Linear时了解到的博客都是关于一维变换的，比如输入3通道，输出6通道；又比如得到（3，4，4）的特征图，需要进行拉平为（48，）的向量，然后通过nn.Linear（48，10）得到10个输出（分类任务很常见）。 nn.Linear除了可以进行分类，主要的作用就是改变维度便于下一个卷积层或线形层的输入。 但是在实际代码中，nn.Linear的输入往往都是多维数据，一样可以正常输出。所以经过查阅手册和各个帖子，给出了自己的理解，作为笔记。
PyTorch的torch.nn.Linear()的计算方法
rambo_csdn_123的博客
07-25 2467
import torch import torch.nn as nn layer = nn.Linear(10, 3) vector = torch.ones(10) 我们定义了一个从10到3的全连接层layer，并且创建了一个全1的特征向量vector 按照我们的理解，将vector放入layer也就是进行一个矩阵运算，vector是一个 1乘10 矩阵，那么layer肯定是一个 10乘3 矩阵，这样才能使得输出向量的维度是3 weight = layer.weight.data bias = laye
nn.Linear
芒果干的博客
10-09 713
torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None) 这个函数主要是进行空间的线性映射 in_features：输入数据的数据维度 out_features：输出数据的数据维度 函数执行过程： 假设我们有一批数据xxx，xxx的维度为20维，这一批数据一共有128个，我们要将20维的xxx映射到30维空间的yyy中，下面是计算过程，其中www是Linear函数的weight权重 y=xWT+b y =
3-17Pytorch与线性代数运算
持之以恒
01-22 119
二范数：欧氏距离 核范数：低秩问题的求解 计算机技术中有一种特点，图像有一种区域性，反应到数据上就是有相关性 范数作用：定义loss,参数约束 import torch a = torch.rand(1,1) b = torch.rand(1,1) print(a,b) print(torch.dist(a,b,p = 0)) print(torch.dist(a,b,p = 1)) print(torch.dist(a,b,p = 2)) print(torch.dist(a,b,p = 3)) p.
pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数
浩瀚之水的专栏
11-11 513
本文主要讲述最简单的线性回归函数： y = w x + b y=wx+by=wx+b在pytorch的实现，主要包括神经网络实现的基本步骤和nn.Linear的源码解读。 1. nn.Linear 源码解读 先看一下Linear类的实现： 源代码网址:https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html Linear继承于nn.Module,内部函数主要有__init__，reset_parameters,forw.
【pytorch】torch.nn.Linear详解
sazass的博客
03-18 5万+
在学习transformer时，遇到过非常频繁的nn.Linear()函数，这里对nn.Linear进行一个详解。 参考：https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html 概要 1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:4. nn.Linear的官方源码: 1. nn.Linear的原理: 从名称就可以看出来，nn.Linear表示的是线性变换，原型就是初级数学
继承于torch.nn.Module的LinearModel是怎样执行线性运算的
weixin_44347925的博客
04-22 564
class LinearModel(torch.nn.Module): def __init__(self): super(LinearModel, self).__init__()## 父类 self.linear = torch.nn.Linear(1, 1)##构造一个对象，包含Weight（参数w） 和 Bias（参数b） ，之后就可以直接用Linear计算Wx+b def forward(self, x):##这里主要考虑的override，覆盖父类
torch.nn模块之常用激活函数详解
DIPDWC的博客
01-16 1万+
激活函数1. 常用的激活函数2. 激活函数计算公式及其可视化2.1 Sigmoid激活函数2.2 Tanh激活函数2.3 ReLu激活函数2.4 LeakyReLU2.5 Softplus激活函数 1. 常用的激活函数 在PyTorch中，提供了十几种激活函数层所对应的类，但常用的激活函数类和和功能如下表1所示。 表1 常用激活函数操作 名称 层对应的类 功能 S型激活函数 torch.nn.Sigmoid Sigmoid激活函数 双曲正切函数 torch.nn.Tanh Tanh激活函
Pytorch快速入门系列---（二）动态计算图、自动微分、torch.nn模块
qq_42681787的博客
03-09 983
由于卷积核尺寸远远小于输入尺寸，即减少需要学习的参数的数量，并且针对每个卷积层可以使用多个卷积核获取输入的特征映射，对数据具有很强的特征提取和表示能力，并且在卷积运算之后，使得卷积神经网络结构对输入的图像具有平移不变的性质。两种池化的区别如下图所示。由上面的函数图像可以看出，该函数的输出区间是（-1,1），整个函数是以0为中心，虽然Tanh函数曲线和Sigmoid函数的曲线形状比较相近，在输入很大或者很小时，梯度很小，不利于权重更新，但由于Tanh的取值输出以0对称，使用效果会比Sigmoid好很多。
优化这段代码让其在gpu上可以更快运行：import torch.nn as nnclass MyLinear(nn.Module): def __init__(self, in_features, out_features): super(MyLinear, self).__init__() self.linears = nn.ModuleList([nn.Linear(in_features, out_features) for i in range(5)]) def forward(self, x): chunks = torch.chunk(x, 5, dim=1) chunks = torch.stack(chunks, dim=0) weights = torch.stack([linear.weight for linear in self.linears], dim=0) outputs = torch.matmul(chunks, weights.transpose(1, 2)).reshape(x.shape[0], -1) return outputs
06-08
在 `forward()` 方法中，使用 `.to('cuda')` 将 `chunks` 张量和 `weights` 张量移动到 GPU 上，然后使用 `torch.matmul()` 进行矩阵乘法运算，并使用 `.reshape()` 将输出张量重新变形为二维张量，最后将其返回。
Pytorch学习笔记(六):view()和nn.Linear()函数详解
源的博客
06-17 5487
相关文章 Pytorch学习笔记(一):torch.cat()模块的详解 Pytorch学习笔记(二):nn.Conv2d()函数详解 Pytorch学习笔记(三):nn.BatchNorm2d()函数详解 Pytorch学习笔记(四):nn.MaxPool2d()函数详解 Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解 Pytorch学习笔记(六):out.view(out.size(0), -1)和nn.Linear()函数详解 文章目录1.函数语法格式和作用2.
torch.nn.Linear到底是怎么计算的？
Evenrose的博客
10-26 286
都知道torch.nn.Linear的本质计算操作是线性变换，Ax = B， 但在pytorch中矩阵是以什么逻辑被计算的呢？当输入tensor为二维矩阵时，输出为右乘权重矩阵(in_features, out_features)当输入tensor为三维及以上矩阵时，输出为保持前面维度不变，最后两维的右乘权重矩阵。说明是最后两维的右乘权重矩阵。
Pytorch nn.Linear的基本用法与原理详解
热门推荐
iioSnail的博客
02-06 12万+
nn.Linear的基本用法 nn.Linear定义一个神经网络的线性层，方法签名如下： torch.nn.Linear(in_features, # 输入的神经元个数 out_features, # 输出神经元个数 bias=True # 是否包含偏置 ) Linear其实就是执行了一个转换函数，即： y=xAT+b y = xA^T + b y=xAT+b 其中ATA^TAT是模型要学习的参数，b是偏置 from torch impor
Pytorch入门之一文看懂nn.Linear
Ton的博客
10-04 1万+
导入方式： torch.nn.Linear(features_in, features_out, bias=False) 参数说明： features_in其实就是输入的神经元个数，features_out就是输出神经元个数，bias默认为True，这里为了表达方便，就写了False，一般调用都是torch.nn.Linear(10, 5)，就是输入10个，输出5个神经元，且考虑偏置。 该函数实现的功能：就是制造出一个全连接层的框架，即y=X*W.T + b，对给定一个具体的输入X，就会输出相应的
pytorch中Linear类中weight的形状问题源码探讨
墨流觞的博客
10-30 7804
import torch from torch import nn m = nn.Linear(20, 30) input = torch.randn(128, 20) output = m(input) print(output.size()) print(m.weight.shape) 来看一下输出： out: torch.Size([128, 30]) torch.Size([30,...
Pytorch linear 多维 输入的参数
dadada 白的博客
08-18 2861
linear 参数
mnist基本例子 - Pytorch
浮生
04-05 5622
pytorch的中文文档已经有人发出来，可以没事儿翻看。 对于领域内的书籍，应该常看常新，没事儿翻出来看一下。 class ConvNet(nn.Module): def __init__(self): super().__init__() # batch*1*28*28（每次会送入batch个样本，输入通道数1（黑白图像），图像分辨率是28x28） # 下面的卷积层Conv2d的第一个参数指输入通道数，第二个参数指输出通道数，第三个参数指卷积核的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值