nn.Linear和kernel=1的nn.Conv的区别

最新推荐文章于 2024-06-01 15:14:39 发布
最新推荐文章于 2024-06-01 15:14:39 发布
阅读量2.3k 收藏 3
点赞数 2
分类专栏： Python 文章标签： pytorch 深度学习 机器学习
原文链接：https://stackoverflow.com/questions/55576314/conv1d-with-kernel-size-1-vs-linear-layer
版权

相同点：
都是线性运算，可以看成矩阵相乘，感受野都为1

不同点：
pytorch中初始化方案不同，nn.Conv有更好的初始化

速度不同，Linear的速度要比nn.Conv快一个数量级，因为Linear是用高效的矩阵相乘实现的，而Conv是卷积核移动实现的

输入尺寸不同，Conv是[batch, input_channel, H, W,…]，linear是[batch, …, input_channel]但这一点其实不重要

linear速度快很多，如果tensor的尺寸方便调整的话还是建议用linear。

参考链接：
https://stackoverflow.com/questions/55576314/conv1d-with-kernel-size-1-vs-linear-layer

不想待在银河系
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
对tensorflow中tf.nn.conv1d和layers.conv1d的区别详解
09-17
今天小编就为大家分享一篇对tensorflow中tf.nn.conv1d和layers.conv1d的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
TensorFlow tf.nn.conv2d实现卷积的方式
09-18
今天小编就为大家分享一篇TensorFlow tf.nn.conv2d实现卷积的方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
nn.Conv1d、nn.Conv2d、nn.Linear
ywfwyht的博客
01-16 1688
nn.Conv1d作用在第二个维度位置channel，nn.Linear作用在第三个维度位置in_features，对于一个XXX，若要在两者之间进行等价计算，需要进行tensor.permute，重新排列维度轴秩序。length]，3维tensor，而nn.Linear输入的是一个[batch, *, in_features]，可变形状tensor，在进行等价计算时务必保证nn.Linear输入tensor为三维。nn.Linear速度比 nn.Conv1d, kernel_size=1速度更快。
【Pytorch】nn.Linear，nn.Conv
weixin_44378835的博客
08-09 834
nn.Linear，nn.Conv
Pytorch中nn.Conv1d 和nn.Linear差别
qq_39964246的博客
08-12 3168
Pytorch中nn.Conv1d 和nn.Linear的差别，主要包括计算方式，计算时间和计算误差。
nn.Conv1d, kernel_size=1和nn.Linear的区别
topsogn的博客
01-07 845
https://blog.csdn.net/l1076604169/article/details/107170146/
Pytorch复习笔记--Conv2d和Linear的参数量和显存占用量比较
牵一只蜗牛去散步
02-26 2078
一般情况下，同维度操作的 nn.Conv2d() 会比 nn.Linear() 的显存占用量要高，即使两者的参数量一致；上面代码中，nn.Conv2d() 的参数量为 3 * 64 * 1 * 1 + 64 = 256；比如上面代码中，通过 nvidia-smi 发现，第一个模型会比第二个模型的显存占用量要高；上面代码中，nn.Conv2d() 的参数量为 3 * 64 + 64 = 256；out_c 表示输出通道维度；1--nn.Conv2d()参数量的计算。1--nn.Conv2d()参数量的计算。
PyTorch实现MLP的两种方法，以及nn.Conv1d, kernel_size=1和nn.Linear的区别
热门推荐
l1076604169的博客
07-07 1万+
PyTorch实现MLP的两种方法，以及nn.Conv1d, kernel_size=1和nn.Linear的区别MLP（Multi-layer perceptron）实现MLP结构方法1:nn.Linear方法2:nn.Conv1d & kernel_size=1nn.Conv1d, kernel_size=1与nn.Linear不同 MLP（Multi-layer perceptron）实现 最近在看PointNet论文，其主要思想为利用MLP结构学习点云特征，并进行全局池化（构造一个对称函数，
pytorch中nn.Conv1d的用法详解
09-18
今天小编就为大家分享一篇pytorch中nn.Conv1d的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch nn.Conv2d()中的padding以及输出大小方式
09-18
今天小编就为大家分享一篇pytorch nn.Conv2d()中的padding以及输出大小方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 星号*放在tensor前的作用
qq_31239371的博客
05-29 390
在这种情况下会将这个多维张量解包成一个张量序列，其中每个元素都是一个更低维度的张量。这个操作主要是为了将一个多维张量转换为一个张量序列，以便作为参数传递给接受张量序列的函数。操作会将这个张量解包成一个包含 3 个二维张量的序列，每个二维张量的形状都是。假如有一个多维tensor，名为id，那么*id的意思是什么呢？会将多维张量沿着第一个维度（即索引为 0 的维度）进行解包。是一个多维张量，那么。
[深度学习]yolov10+bytetrack+pyqt5实现目标追踪
FL1623863129的博客
05-30 989
这个组合为开发者提供了一个强大的工具，不仅可以用于研究和开发，还可以集成到各种实际应用中，如智能监控、自动驾驶等。PyQt5是一个跨平台的GUI框架，允许我们创建一个直观的界面来显示追踪结果。通过PyQt5，我们可以设计一个窗口，显示视频流或图像序列，并在其上叠加追踪目标的边界框和ID。首先，YOLOv10是一个先进的目标检测算法，能够准确识别视频或图像中的目标。利用YOLOv10、ByteTrack和PyQt5实现目标追踪是一个强大的组合，可以为用户提供一个交互式的实时目标追踪界面。
Python - 深度学习系列36 重塑实体识别3
yukai08008的博客
05-29 750
从应用的角度，对实体识别的全流程进行进一步的明确。从全流程的角度上看，需要对数据做一些规范，并允许在不同的阶段插进来进行修改和迭代。
深度学习和计算机视觉中的backbone
最新发布
weixin_45596561的博客
06-01 323
在深度学习和计算机视觉中，“backbone” 是指深度神经网络的主要部分，通常用于特征提取。骨干网络通过卷积操作提取图像中的低级和高级特征，为后续的特定任务（如分类、检测、分割等）提供丰富的信息。这些骨干网络一般是预训练的，即在大型数据集（如ImageNet）上进行训练，以便在各种下游任务中实现良好的性能。
卷积神经网络-奥特曼识别
m0_74315028的博客
05-21 1248
卷积神经网络识别奥特曼
当代人工智能三教父——深度学习三巨头
心碎烤肠的博客
05-23 2875
今天下午闲来无事翻阅了一下csdn首页的头条文章——《27 岁天才创始人Joel Hellermark分享了自己和“AI 教父”Geoffery Hinton的最新采访》 感觉挺有意思，就从头到尾的看了一遍，里面有很多自己以前从未涉及到的知识，就浅显的整理了一下：
深度学习（一）
2303_77556681的博客
05-29 835
使用pandas的iloc方法来提取训练数据集中所有行的第2列到最后一列的数据，即所有图像的像素值。这样，X就变成了一个二维数组，其中每个元素都是一个图像的所有像素值，且每个图像展平为一个长度为784（28x28）的一维数组。在MNIST数据集中，每一行代表一个手写数字的图像，第一列是标签（即这个图像代表的数字），其余列是图像的像素值。MNIST数据集是一个手写数字的数据集，包含了0到9的手写数字的图片。这个函数会输出数据的基本信息，包括数据的行数、列数、每列的数据类型、非空值的数量等。
【机器学习300问】104、残差网络是怎么起作用的？
qq_39780701的博客
05-29 1619
残差网络是怎么起作用的？什么是残差网络？残差网络是怎么解决这些问题的？简单来说，残差网络通过设计允许网络专注于学习每个层级上真正需要改变的部分，从而克服了深度网络训练中的关键障碍。
features_list = list(vgg19.features.children()) self.conv2_2 = torch.nn.Sequential(*features_list[:13]) self.conv3_4 = torch.nn.Sequential(*features_list[13:26]) self.conv4_4 = torch.nn.Sequential(*features_list[26: 39]) self.conv5_4 = torch.nn.Sequential(*features_list[39:-1]) self.tail_layer = features_list[-1] self.fc_layers = list(vgg19.classifier.children())[:-2] self.fc_layers = torch.nn.Sequential(*list(self.fc_layers)) self.extract_0 = torch.nn.Sequential( torch.nn.MaxPool2d(kernel_size=8, stride=8), torch.nn.Conv2d(128, self.k, kernel_size=1, stride=1) ) self.extract_1 = torch.nn.Sequential( torch.nn.MaxPool2d(kernel_size=4, stride=4), torch.nn.Conv2d(256, self.k, kernel_size=1, stride=1) )self.extract_2 = torch.nn.Sequential( torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Conv2d(512, self.k, kernel_size=1, stride=1) ) self.extract_3 = torch.nn.Sequential( torch.nn.Conv2d(512, self.k, kernel_size=1, stride=1) ) self.fc0 = torch.nn.Linear(196, 1, bias=True) self.fc1 = torch.nn.Linear(196, 1, bias=True) self.fc2 = torch.nn.Linear(196, 1, bias=True) self.fc3 = torch.nn.Linear(196, 1, bias=True) self.fc4 = torch.nn.Linear(4096, 2 * k, bias=True) self.bn1 = torch.nn.BatchNorm1d(k) self.bn2 = torch.nn.BatchNorm1d(k) weight_init(self.fc0, self.fc1, self.fc2, self.fc3, self.fc4)
05-22
这段代码定义了一个名为 VGG19Encoder 的神经网络模型。它使用了预训练的 VGG19 模型的前四个卷积层和最后一个全连接层作为特征提取器，其中前四个卷积层被分别用于提取不同层级的特征。然后，通过几个额外的卷积层和全连接层将提取的特征转换为对输入图像中物体类别的预测。其中，提取的特征被分别送入四个全连接层中进行分类。 具体来说，代码中的各个部分的功能如下： - `features_list = list(vgg19.features.children())`：获取 VGG19 模型的所有卷积层。 - `self.conv2_2 = torch.nn.Sequential(*features_list[:13])`：将前 13 层卷积层作为 conv2_2 层。 - `self.conv3_4 = torch.nn.Sequential(*features_list[13:26])`：将第 14 层到第 26 层卷积层作为 conv3_4 层。 - `self.conv4_4 = torch.nn.Sequential(*features_list[26: 39])`：将第 27 层到第 39 层卷积层作为 conv4_4 层。 - `self.conv5_4 = torch.nn.Sequential(*features_list[39:-1])`：将第 40 层到倒数第二层卷积层作为 conv5_4 层。 - `self.tail_layer = features_list[-1]`：将最后一层卷积层作为尾部层。 - `self.fc_layers = list(vgg19.classifier.children())[:-2]`：获取 VGG19 模型的所有全连接层，但不包括最后两层。 - `self.fc_layers = torch.nn.Sequential(*list(self.fc_layers))`：将所有全连接层组成一个新的连续的全连接层。 - `self.extract_0 = torch.nn.Sequential(torch.nn.MaxPool2d(kernel_size=8, stride=8), torch.nn.Conv2d(128, self.k, kernel_size=1, stride=1))`：将 conv2_2 层的输出进行最大池化和卷积操作，以提取更高级别的特征。 - `self.extract_1 = torch.nn.Sequential(torch.nn.MaxPool2d(kernel_size=4, stride=4), torch.nn.Conv2d(256, self.k, kernel_size=1, stride=1))`：将 conv3_4 层的输出进行最大池化和卷积操作，以提取更高级别的特征。 - `self.extract_2 = torch.nn.Sequential(torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Conv2d(512, self.k, kernel_size=1, stride=1))`：将 conv4_4 层的输出进行最大池化和卷积操作，以提取更高级别的特征。 - `self.extract_3 = torch.nn.Sequential(torch.nn.Conv2d(512, self.k, kernel_size=1, stride=1))`：将 conv5_4 层的输出进行卷积操作，以提取更高级别的特征。 - `self.fc0 = torch.nn.Linear(196, 1, bias=True)`：定义一个输入为 196 的全连接层，用于分类。 - `self.fc1 = torch.nn.Linear(196, 1, bias=True)`：定义第二个输入为 196 的全连接层，用于分类。 - `self.fc2 = torch.nn.Linear(196, 1, bias=True)`：定义第三个输入为 196 的全连接层，用于分类。 - `self.fc3 = torch.nn.Linear(196, 1, bias=True)`：定义第四个输入为 196 的全连接层，用于分类。 - `self.fc4 = torch.nn.Linear(4096, 2 * k, bias=True)`：定义一个输入为 4096 的全连接层，用于分类。 - `self.bn1 = torch.nn.BatchNorm1d(k)`：定义一个 Batch Normalization 层，用于归一化数据。 - `self.bn2 = torch.nn.BatchNorm1d(k)`：定义第二个 Batch Normalization 层，用于归一化数据。 - `weight_init(self.fc0, self.fc1, self.fc2, self.fc3, self.fc4)`：对所有全连接层进行权重初始化，以提高模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值