nn.Linear() 函数可二维或三维输入

已于 2023-06-09 10:40:18 修改
阅读量6.3k 收藏 13
点赞数 2
分类专栏： 代码阅读系列 文章标签： pytorch 深度学习 人工智能
于 2023-04-03 12:18:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61899108/article/details/129926633
版权

 nn.Linear

PyTorch的nn.Linear()用于设置网络中的全连接层。

常用于处理二维信息，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。

仔细观察Shape可以发现，nn.Linear(in_features,out_features)可以用于处理多维信息。输入三维张量[batch_size, n, in_features]，经过线性层，可以得到输出张量[batch_size, n, out_features].

如下图：

参考博客

nn.Linear（）函数详解及代码使用_墨晓白的博客-CSDN博客

Pytorch linear 多维 输入的参数_linear参数_又是花落时的博客-CSDN博客

关于torch.nn.Linear的输入与输出探讨_nn.linear() 输入三维_花飞雨追的博客-CSDN博客

PyTorch的nn.Linear（）详解_风雪夜归人o的博客-CSDN博客

m0_61899108
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
关于pytorch中nn.linear输入维度的问题
qq_41027830的博客
05-21 1233
因为最近看了一下attention博客，寻思挺简单，想动手写一个，才动手就发现有个问题，对于Q,K,V矩阵，看似只是个简单的前馈网络结构就能实现，但是在多数问题中，输入的都是词向量，也就是说，输入数据的结构是(batch_size，seq_size，embeding_size)，而nn.linear一般接受的输入格式是（输入神经元个数，输出神经元个数）。则nn.linear（30,18）输出的维度为（20,10,18）
Pytorch nn.Linear的基本用法与原理详解
热门推荐
zhaohongfei_358的博客
02-06 11万+
nn.Linear的基本用法 nn.Linear定义一个神经网络的线性层，方法签名如下： torch.nn.Linear(in_features, # 输入的神经元个数 out_features, # 输出神经元个数 bias=True # 是否包含偏置 ) Linear其实就是执行了一个转换函数，即： y=xAT+b y = xA^T + b y=xAT+b 其中ATA^TAT是模型要学习的参数，b是偏置 from torch impor
【Pytorch】一文向您详细介绍 torch.nn.Linear() 的作用和用法
最新发布
创作高质量博文，分享知识，共同进步！
06-07 2601
🌟【PyTorch秘籍】torch.nn.Linear() 深度解析🌟 🔍 深入探索PyTorch中`torch.nn.Linear()`的奥秘！从线性变换原理到模型构建技巧，本文一网打尽。📚 🚀 掌握权重初始化、正则化、批量归一化等进阶技巧，让您的神经网络性能飙升！🚀 💡 快速上手，轻松理解，助您成为PyTorch高手！👉 #PyTorch #torch.nn.Linear() #深度学习 #神经网络模型 #权重初始化 #批量归一化 #正则化 #模型优化 #编程技巧
关于 torch.nn.Linear 的输入维度问题
知识搬运者
12-15 1万+
根据官方给出解释，在这里输入和输出的维度可以是任意，即不论你是二维，还是三维，甚至是 n 维度都是可以的。这里，通过 nn.Linear 后的输出形状除了最后一个维度，其他的均与输出一样，且这个输出值不会有任何变化。比如[1, 3, 9]形状的张量，通过 nn.Linear(9, 18) 的线性层，其输出的形状是[1, 3, 18]。 ...
PyTorch的nn.Linear()详解
Yang_4881002的博客
11-17 1372
PyTorch的nn.Linear()详解
Python学习之nn.Linear
weixin_46587923的博客
08-15 4030
python零基础，最近赶鸭子上架学习。对Linear产生了一定的疑惑，查阅资料后得到了解答。 首先，nn.Linear的一般形式为: nn.Linear（in_features，out_features，bias = True ） 大致就是通过线性变换改变样本大小 线性变换：y=A x + b 既然改变一定有输入和输出，从形式中可以看出有in_features和out_features，但这两个只是输入输出张量的大小。那么这个nn.Linear是如何对输入进行影响并得到输出的呢？ 参考http
Pytorch中nn.Linear的理解
s_lihaiyuan的博客
12-18 1129
线性层，简单理解：就是小学学的y=wx+b, 这里的x就是样本，w是权重，b是偏置。本文是对线性层的简单刨析。
利用torch.nn实现二维卷积python代码
12-11
二维卷积是CNN的核心操作，它通过在输入数据上滑动一个小窗口（滤波器或卷积核）来提取特征。这种操作可以捕捉输入数据的局部结构，对图像等二维数据尤其有效。 在PyTorch的`torch.nn`模块中，我们主要使用`nn.Conv...
pytorch中nn.Conv1d的用法详解
09-18
在PyTorch中，`nn.Conv1d`是用于一维卷积操作的模块，它在处理序列数据，如音频信号、时间序列分析或者文本数据时非常有用。本篇文章将详细解析`nn.Conv1d`的用法及其在实际代码中的应用。 一、`nn.Conv1d`的基本...
pytorch 一维信号处理 故障诊断
05-24
TSNE（t-Distributed Stochastic Neighbor Embedding）是一种降维技术，可将高维特征空间映射到二维或三维，便于观察数据分布。在PyTorch中，可以结合`scikit-learn`库实现TSNE可视化。混淆矩阵则展示了模型预测结果...
Pytorch 实现dropout解决过拟合.zip
01-22
此外，还可以使用`nn.Dropout2d`和`nn.Dropout3d`来分别应用于二维和三维输入（如卷积神经网络的特征图）。这些版本的Dropout会在每个通道上独立应用，而不是像`nn.Dropout`那样在整个张量上。 总结一下，Dropout是...
Pytorch 实现自编码无监督学习.zip
01-22
编码器和解码器通常由多层全连接层（`nn.Linear`）或卷积层（`nn.Conv2d`）组成，取决于输入数据的维度和特性。 三、损失函数与优化器 自编码器的训练通常采用均方误差（MSE）作为损失函数，衡量重构数据与原始数据...
全连接层居然可以处理三维数据
weixin_43759700的博客
01-06 3162
今天发现一个有意思的地方 输入shape为：torch.Size([1, 8, 64]) 全连接层： nn.Linear(64, 1) 居然没有报错，而且输出为torch.Size([1, 8, 1])！nb
Pytorch nn.Linear 全连接层的原理和作用（个人理解）
m0_51032217的博客
04-12 1万+
一、官网说明： 二、个人理解 对CNN来说图片以batchsize的大小并行送入神经网络，经过一些卷积，到最后送入全连接层进行分类，送入全连接层之前的每个特征图已经被拉平（变成1xn的形式，这里的n就是x中的3,x中的10代表有10个1），所以下面的x中的10行可以理解为batchsize（即10张图片），x中的3列可以理解为每个图片被提取了3个特征，最后的y可以理解为对这10个图片进行一个5分类，分类的结果为这5个数中最大的那个数所对应的索引，具体分类的结果为索引对应的类别。 三、计...
pytorch——nn.Linear()
七月听雪的博客
08-31 1549
nn.Linear()就是全连接层。 实现的操作就是： import torch x = torch.randn(128, 20) # 输入的维度是（128，20） m = torch.nn.Linear(20, 30) # 20,30是指维度 output = m(x) print('m.weight.shape:\n ', m.weight.shap...
Pytorch深度学习笔记（八）处理多维度特征的输入
qq_45981086的博客
04-23 1349
一个八维数据集：数据集，每一行称为一个样本，每一列称为一个特征。回归模型的更改：n维的输入向量x和n维的权重w的转置作内积 + 广播处理的偏移量b，得到的1维的预测值，再使用logistic函数进行映射。使用对输入维度和输出维度进行调整。如下图所示，可以使8个维度的输入张量映射到1个维度的输出张量。可以从n维的输入直接映射到1维的输出，也可以分多层一步一步的进行映射，例如：从8维映射到6维，再从6维映射到4维，再从4维映射到2维，再从2维映射到2维。
模型的第一层：详解torch.nn.Embedding和torch.nn.Linear
weixin_42038527的博客
01-30 1155
torch.nn.Embedding是用来将一个数字变成一个指定维度的向量的，比如数字1变成一个128维的向量，数字2变成另外一个128维的向量。不过，这128维的向量并不是永恒不变的，这些128维的向量是模型真正的输入（也就是模型的第1层）（数字1和2并不是，可以算作模型第0层），然后这128维的向量会参与模型训练并且得到更新，从而数字1会有一个更好的128维向量的表示。显然，这非常像全连接层，所以很多人说，Embedding层是全连接层的特例。
Pytorch之nn.linear层
qq_43199575的博客
05-27 439
项目场景： 提示：这里简述项目相关背景： 例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大) 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obta
Pytorch学习笔记7——处理多维特征的输入
qq_50749521的博客
07-12 1010
Pytorch学习笔记7——处理多维特征的输入
nn.linear输入三维张量
07-25
nn.Linear可以接受三维张量作为输入。根据官方文档的解释，nn.Linear的输入和输出的维度可以是任意的，无论是二维、三维还是更高维度的张量都可以。对于一个三维张量\[batch_size, H, d_model\]，经过nn.Linear后，输出的形状除了最后一个维度不变，其他维度与输出一样。例如，对于一个形状为\[batch_size, H, d_model\]的张量，通过nn.Linear(d_model, d_ff)的线性层，输出的形状将变为\[batch_size, H, d_ff\]。所以，你可以放心使用nn.Linear处理三维张量的输入。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [关于torch.nn.Linear的输入与输出探讨](https://blog.csdn.net/qq_36258516/article/details/117333424)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [关于 torch.nn.Linear 的输入维度问题](https://blog.csdn.net/qq_45100200/article/details/121943130)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [nn.Linear() 函数可二维或三维输入](https://blog.csdn.net/m0_61899108/article/details/129926633)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值