nn.Linear和kernel=1的nn.Conv的区别

最新推荐文章于 2023-02-26 21:17:21 发布
最新推荐文章于 2023-02-26 21:17:21 发布
阅读量314 收藏
点赞数
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shirelle_/article/details/129094428
版权

在这里插入图片描述

Iris_wondering
关注
PyTorch实现MLP的两种方法，以及nn.Conv1d, kernel_size=1和nn.Linear的区别
l1076604169的博客
07-07 2万+
PyTorch实现MLP的两种方法，以及nn.Conv1d, kernel_size=1和nn.Linear的区别MLP（Multi-layer perceptron）实现MLP结构方法1:nn.Linear方法2:nn.Conv1d & kernel_size=1nn.Conv1d, kernel_size=1与nn.Linear不同 MLP（Multi-layer perceptron）实现 最近在看PointNet论文，其主要思想为利用MLP结构学习点云特征，并进行全局池化（构造一个对称函数，
nn.Linear和nn.Conv2d_1x1等效验证
最新发布
weixin_45703452的博客
01-17 740
这样的话，写出来的transformer block中，self-attention=non-loca，mlp=conv_1x1 Group。现在视觉transformer中，有些会把单个像素点视为一个token，在这样的粒度下进行transformer block的计算，其中一个比较重要的操作是nn.Linear，其和nn.Conv2d_1x1是等价的。图像的卷积本质上也是矩阵相乘，验证结果是符合预期的。
Linear&Conv2d的一些见解！！！！
lzltld的博客
09-01 2391
Linear - 现在先定义一些东西： in_features:输入特征集 out_features：输出特征集 input_hang:输入的tensor的行 input_lie:输入的tensor的列 ​ 现在列举一个表格给你看看： 我就列举了两个feature，我们把这些features组成一个二维的tensor,用他们后面的数字代表： [1，2，3 4，5，6] 我们就发现，列是代表：我们每个种类的特征集。所以不管在分类问题还是预测回归问题上，我们都经常考虑tensor的列，而行的数量只表示你的
Pytorch复习笔记--Conv2d和Linear的参数量和显存占用量比较
牵一只蜗牛去散步
02-26 2618
一般情况下，同维度操作的 nn.Conv2d() 会比 nn.Linear() 的显存占用量要高，即使两者的参数量一致；上面代码中，nn.Conv2d() 的参数量为 3 * 64 * 1 * 1 + 64 = 256；比如上面代码中，通过 nvidia-smi 发现，第一个模型会比第二个模型的显存占用量要高；上面代码中，nn.Conv2d() 的参数量为 3 * 64 + 64 = 256；out_c 表示输出通道维度；1--nn.Conv2d()参数量的计算。1--nn.Conv2d()参数量的计算。
pytorch中nn.Conv1d的用法详解
09-18
首先，`layer1`包含了`nn.Conv1d`、`nn.BatchNorm1d`（批量归一化）、`nn.ReLU`（激活函数）和`nn.MaxPool1d`（最大池化）。 - `nn.Conv1d(1, 100, 2)`：这里的1是输入通道，100是输出通道（卷积核数量），2是卷积...
features_list = list(vgg19.features.children()) self.conv2_2 = torch.nn.Sequential(*features_list[:13]) self.conv3_4 = torch.nn.Sequential(*features_list[13:26]) self.conv4_4 = torch.nn.Sequential(*features_list[26: 39]) self.conv5_4 = torch.nn.Sequential(*features_list[39:-1]) self.tail_layer = features_list[-1] self.fc_layers = list(vgg19.classifier.children())[:-2] self.fc_layers = torch.nn.Sequential(*list(self.fc_layers)) self.extract_0 = torch.nn.Sequential( torch.nn.MaxPool2d(kernel_size=8, stride=8), torch.nn.Conv2d(128, self.k, kernel_size=1, stride=1) ) self.extract_1 = torch.nn.Sequential( torch.nn.MaxPool2d(kernel_size=4, stride=4), torch.nn.Conv2d(256, self.k, kernel_size=1, stride=1) )self.extract_2 = torch.nn.Sequential( torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Conv2d(512, self.k, kernel_size=1, stride=1) ) self.extract_3 = torch.nn.Sequential( torch.nn.Conv2d(512, self.k, kernel_size=1, stride=1) ) self.fc0 = torch.nn.Linear(196, 1, bias=True) self.fc1 = torch.nn.Linear(196, 1, bias=True) self.fc2 = torch.nn.Linear(196, 1, bias=True) self.fc3 = torch.nn.Linear(196, 1, bias=True) self.fc4 = torch.nn.Linear(4096, 2 * k, bias=True) self.bn1 = torch.nn.BatchNorm1d(k) self.bn2 = torch.nn.BatchNorm1d(k) weight_init(self.fc0, self.fc1, self.fc2, self.fc3, self.fc4)
05-22
- `self.extract_1 = torch.nn.Sequential(torch.nn.MaxPool2d(kernel_size=4, stride=4), torch.nn.Conv2d(256, self.k, kernel_size=1, stride=1))`：将 conv3_4 层的输出进行最大池化和卷积操作，以提取更高级别...
class LeNet5(paddle.nn.Layer): def __init__(self): super(LeNet5, self).__init__() self.conv1=paddle.nn.Conv2D(in_channels=1,out_channel=6,kernel_size=5) self.avgpool1=paddle.nn.AvPool2D(kernel_size=2,stride=2) self.conv2=paddle.nn.Conv2D(in_channels=6,out_channels=16,kernel_size=5) self.avgpool2=paddle.nn.AvPool2D(kernel_size=2,stride=2) self.flatten=paddle.nn.Flatten() self.fc1 = paddle.nn.Linear(in_features=400,out_features=120) self.fc2 = paddle.nn.Linear(in_features=120,out_features=84) self.fc3 = paddle.nn.Linear(in_features=84, out_features=10)在pytorch中如何表示
06-02
self.conv1=nn.Conv2d(in_channels=1,out_channels=6,kernel_size=5) self.avgpool1=nn.AvgPool2d(kernel_size=2,stride=2) self.conv2=nn.Conv2d(in_channels=6,out_channels=16,kernel_size=5) self.avgpool2=...
import torch from torch import nn import d2l net = nn.Sequential( nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), nn.Conv2d(64, 192, kernel_size=3, stride=1, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), nn.Conv2d(192, 384, kernel_size=3, padding=1), nn.ReLU(), nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(), nn.Conv2d(256, 256, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), nn.Flatten(), nn.Linear(9216, 4096), nn.ReLU(), nn.Dropout(p=0.5), nn.Linear(4096, 4096), nn.ReLU(), nn.Dropout(p=0.5), nn.Linear(4096, 10))，RuntimeError: mat1 and mat2 shapes cannot be multiplied (2x4096 and 9216x4096)，如何调整参数
05-30
nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), nn.Conv2d(64, 192, kernel_size=3, stride=1, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=...
基于300条数据用CNN多分类预测时，训练精度特别差，代码如下class Model(Module): def __init__(self): super(Model, self).__init__() self.conv1_1 = nn.Conv2d(in_channels=3,out_channels=64,kernel_size=(3,3),padding=1) self.bn1_1 = nn.BatchNorm2d(64) self.relu1_1 = nn.ReLU() self.pool1 = nn.MaxPool2d(kernel_size=4, stride=4) self.conv2_1 = nn.Conv2d(in_channels=64,out_channels=128,kernel_size=(3,3),padding=1) self.bn2_1 = nn.BatchNorm2d(128) self.relu2_1 = nn.ReLU() self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv3_1 = nn.Conv2d(in_channels=128,out_channels=256,kernel_size=(3,3),padding=1) self.bn3_1 = nn.BatchNorm2d(256) self.relu3_1 = nn.ReLU() self.pool3 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv4_1 = nn.Conv2d(in_channels=256,out_channels=512,kernel_size=(3,3)) self.bn4_1 = nn.BatchNorm2d(512) self.relu4_1 = nn.ReLU() self.conv4_2 = nn.Conv2d(in_channels=512,out_channels=512,kernel_size=(3,3)) self.bn4_2 = nn.BatchNorm2d(512) self.relu4_2 = nn.ReLU() self.pool4 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv5_1 = nn.Conv2d(in_channels=512,out_channels=512,kernel_size=(3,3)) self.bn5_1 = nn.BatchNorm2d(512) self.relu5_1 = nn.ReLU() self.conv5_2 = nn.Conv2d(in_channels=512,out_channels=512,kernel_size=(3,3)) self.bn5_2 = nn.BatchNorm2d(512) self.relu5_2 = nn.ReLU() self.pool5 = nn.AdaptiveAvgPool2d(5) self.dropout1 = nn.Dropout(p=0.3) self.fc1=nn.Linear(512*5*5,512) self.relu6=nn.ReLU() self.dropout2 = nn.Dropout(p=0.2) self.fc2=nn.Linear(512,141) ，具体如何修改代码
05-29
self.fc1=nn.Linear(512*5*5, 1024) self.relu6=nn.ReLU() self.dropout2 = nn.Dropout(p=0.2) self.fc2=nn.Linear(1024, 141) # 数据增强 self.transform = transforms.Compose([ transforms.RandomCrop...
Pytorch中nn.Conv1d 和nn.Linear差别
qq_39964246的博客
08-12 3547
Pytorch中nn.Conv1d 和nn.Linear的差别，主要包括计算方式，计算时间和计算误差。
Pytorch中的nn.Linear()、nn.Conv2d()等函数
weixin_43869605的博客
08-24 1663
nn.Conv1d、nn.Conv2d、nn.Linear
ywfwyht的博客
01-16 1966
nn.Conv1d作用在第二个维度位置channel，nn.Linear作用在第三个维度位置in_features，对于一个XXX，若要在两者之间进行等价计算，需要进行tensor.permute，重新排列维度轴秩序。length]，3维tensor，而nn.Linear输入的是一个[batch, *, in_features]，可变形状tensor，在进行等价计算时务必保证nn.Linear输入tensor为三维。nn.Linear速度比 nn.Conv1d, kernel_size=1速度更快。
CNN: 1x1卷积层的精妙之处
cedi9117的博客
11-02 1199
现在各种神经网络都会用到1x1 conv，它到底起到什么作用呢？要回答这个问题，先从最经典的Inception模型说起，Figure 1是Inception-ResNet-v2的block架构图。 作用一：改变矩阵维度 block中每个sublayer的第一层都1x1 conv，它在这里的作用之一是降维，减少运算量–feature map channel数越少，卷积操作需要的计算量越小。但就像...
kernel_size为1的卷积核与全连接层的关系
todoooooo的博客
06-03 6793
看到有文章说kernel_size为1的卷积相当于全连接层的运算，这里简单地使用1维的卷积核证明一下 输入的数据用X∈R(d,n)X \in \mathbb{R}^{(d,n)}X∈R(d,n)表示，共有nnn个数据，每个数据是ddd维。 全连接层用L∈R(d,d)L \in \mathbb{R}^{(d,d)}L∈R(d,d)表示，一维的卷积用C∈R(d,d)C \in \mathbb{R}^{(d,d)}C∈R(d,d)表示，即卷积的in_channel=d, out_channel=d，CCC的行向量
什么是1*1卷积？1*1的卷积核和全连接层有什么异同？
热门推荐
没有感情的刷题机器
01-27 1万+
简单回答一下： 1、数学本质上一样，都是特征图中的元素乘以权重再求和。全连接是把特征图拆开组成一个一维向量，再乘以一个权重向量，这两个向量中的元素一一对应所以输出结果是一个值。而1*1卷积，我们知道卷积核实质上就是权重，1*1的卷积核那就是表明只由一个权重组成，如果特征图尺寸也是1*1的话，那输出就是一个值，此时与全连接完全一样。但是如果特征图尺寸不是1*1，而是w*h的话，那么1*1的卷积输出...
1x1卷积(Conv 1*1)的作用
weixin_41936775的博客
09-03 1万+
一、来源及应用二、作用1. 添加非线性特性2. 对通道数实现升维/降维3. 实现跨通道的信息交互与整合 一、来源及应用 Conv 1×1Conv\ 1\times1Conv 1×1 是 Network in Network 的简称。 对于单通道图像，其作用仅是进行线性运算； 对于多通道图像，Conv 1×1Conv\ 1\times1Conv 1×1 会遍历图像的所有位置，并将每个位置处所有通道的值作为其输入，与 1×11\times11×1 卷积核中对应通道的.
【卷积神经网络】1*1卷积的作用、深度可分离卷积原理及实现
因为遇见你，我，三生有幸呀
03-30 5065
被问到了1*1卷积核的问题，记录关于它的理解。 1×1卷积是指多个feature channels之间的线性叠加，只不过这个系数可以看成是1*1的卷积。 这种表示的好处是，完全可以回到模型中其他常见N×N的框架下，不用定义新的层。 ...
Conv1*1卷积，为什么能降维
村雨的博客
10-22 1万+
所谓1*1默认是w和h上的1*1，但对于高维度，其实应该是这样 就是H和W不变，而是channel这个维度上降维，如图对于channel与原三维矩阵相同的1*1卷积核，直接channel就给干到了1维，而原来是32维。 对应的，如果1*1卷积核的第三维度设置为31，那么就两个维度的了，也就是6*6*2了，这里可以灵活设置自己最后想得到的维度 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值