Pytorch reshape 和 transpose 易混点

最新推荐文章于 2024-02-17 11:23:52 发布
最新推荐文章于 2024-02-17 11:23:52 发布
阅读量408 收藏 1
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nighticerain/article/details/113858198
版权
本文探讨了在 Pytorch 中遇到的一个关于 reshape 和 transpose 的理解误区。通过一个 innerproduct 全连接层的例子，展示了当 x 为 3 * 2 tensor，Ao 分别为不同形状的 tensor 时，xAT+b 和 xA′+b 计算结果的差异。reshape 实际上是按指定形状重新排列元素，而 transpose 更改的是元素的索引顺序，特别是在高维度 tensor 中的理解。代码实例进一步说明了两者的不同效果。
摘要由CSDN通过智能技术生成

今天在工作中踩了一个坑，才发现自己对 reshape 和 transpose 理解还有待完善

问题是基于 innerproduct 全联接层发现的

torch.nn.functional.linear(input, weight, bias=None)

y = x A T + b y = xA^T + b y=xAT+b
其中 A T

最低0.47元/天 解锁文章
Pengyu Che
关注
专栏目录
pytorch学习笔记五：pytorch中reshape、view以及resize_之间的区别
耐心的小黑的博客
04-08 3万+
这里以torch.Tensor下的reshape，view，resize_来举例 一、先来说一说reshape和view之间的区别 相同点：都是可以改变tensor的形状 不同点： .view()方法只能改变连续的(contiguous)张量，否则需要先调用.contiguous()方法，而.reshape()方法不受此限制；如果对 tensor 调用过 transpose, permute等...
pytorch中tensor的底层存储方式，维度变换permute/view/reshape，维度大小和数目
lppfwl的博客
05-13 1114
记录一下pytorch中tensor的底层存储方式，维度变换permute/view/reshape，维度大小和数目。 tensor的底层存储方式 tensor的底层存储是按照行优先的原则存储的，比如： >>import torch >>a=tensor.rand((2,2,3)) >>a tensor([[[0.1345,0.4907,0.8740], [0.4888,0.5481,0.8513]], [[0.1015,0.9427,0.8660], [
pytorch reshape和transpose
zjh12312311的博客
01-08 1224
做数据操作的时候发现计算错误，检查才知道是reshape和transpose混了。这里对两者的对比做个笔记。 代码： a = torch.rand((3,4)) print(a) print('transpose',a.transpose(0,1)) print('reshape',a.reshape(4,3)) 输出： tensor([[0.0908, 0.6192, 0.1025, 0.7192], [0.4392, 0.2334, 0.212
pytorch中tensor进行reshape操作后原始数据的顺序
YoJayC的博客
11-19 3084
在pytorch中，经常需要对tensor进行reshape操作，使其符合特定网络的输入格式。在将网络的输 出重新reshape回输入前的形状时，tensor的特征是否还是按输入的顺序进行排列？ 带着疑问做了下面的实验 x1 = torch.randn(2, 3)
 x2 = torch.randn(2, 3)
 x3 = torch.randn(2, 3)

 x4 = torch.stack((x1, x2, x3), 0)
 shape = x4.shape 
print("x4:",
PyTorch维度变换（view,reshape,transpose,permute）
jasminefeng的博客
02-16 902
import torch 文章目录1、reshape方法2、view方法3、permute方法4、transpose方法5、T属性 1、reshape方法 用法与NumPy的一模一样，既可以从torch这个库调用，torch.reshape(input, shape)，也可以在Tensor对象上调用torch.Tensor.reshape(shape)。 2、view方法 与reshape方法相比有较大的局限性，原因在于 只能在Tensor对象上调用 Tensor对象必须是contiguous的，故常与
pytorch(6)tensor_reshape()和tensor_transpose()函数
weixin_43751285的博客
12-05 537
tensor_reshape()将原始张量修改为指定形状大小的张量。 tensor_transpose()函数将原始张量的维度进行调换。 import torch import numpy as np def tensor_reshape(): arr = np.array([[[1, 2, 3], [4, 5, 6], [7, 8, 9]], [[1, 2, 3], [4, 5, 6], [7, 8, 9]], .
pytorch：深入理解 reshape(), view(), transpose(), permute() 函数
书山有路，学海无涯！
08-19 1万+
文章目录前言1. view()① 1 阶变高阶1 阶变 2 阶1 阶变 3 阶1 阶变 4 阶1 阶变 m 阶② 2 阶变 m 阶③ 3 阶变 m 阶④ 4 阶变 m 阶2. transpose()② 2 阶张量③ 3 阶张量④ 4 阶张量3. permute() 前言 view() 函数是进行张量维度重构的函数，permute() 和 transpose() 是进行张量维度转换的函数。 1. view() ① 1 阶变高阶 1 阶变 2 阶 对于一个 1 阶张量 x，进行 view(h, w) 操作就是按
深度学习中框架中reshape和transpose的区别
心中有梦，眼里有光
04-05 3008
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 之前使用的深度学习的框架是tensorflow，这周接触到pytorch框架，发现两个框架张量（tensor）波段顺序不一样，tensorflow张量顺序为（b，w，h，c），字母代表的含义依次为batch_size，行，列，通道，而pytorch框架里张量顺序为（b，c，w，h）。而在使用不同库读取遥感影像时也会出现波段顺序不一致的情况，常用的简单tif.
PyTorch的Permute、Transpose、unsqueeze、reshape、view和Numpy的resize,reshape
qq_31355669的博客
07-22 1061
** PyTorch的Permute、Transpose、view、unsqueeze和Numpy的resize,reshape pytorch：https://pytorch.org/docs/stable/index.html ** PyTorch的Permuted的使用： PyTorch的Transpose的使用：transpose只能操作2D矩阵的转置。 >>> a ...
pytorch reshape_pytorch入门总结指南（1）—import torch as np
weixin_39562606的博客
11-27 354
本来觉得学个tf和keras就够了，但是用了torch之后觉得真的这个框架太好用了，非常灵活可以很方便的和python语言混编，torch基本可以和cupy并列称为gpu版的numpy，文本部分有torchtext和allenlp，调包有sktorch非常简单的融入到sklearn的生态中，再高层的封装有fast.ai，简直太香了。考虑到网上的入门教程多且杂，还是打算自己好好整理一下，系统性的学习...
torch.transpose 和 reshape的区别
sinat_42211998的博客
03-12 150
nspose是数学意义上的转置，但是reshape很随意。
Pytorch 一文搞懂view，reshape和permute，transpose用法
最新发布
qq_19859865的博客
02-17 1596
存储的tensor按照行优先（row major）的顺序存储。如下图，当访问每一行的下一个元素，你只需要前进一步（stride），但是访问下一列的元素，需要前进四步（strides）。在PyTorch中，有些对Tensor的操作并不实际改变tensor的内容，而只是改变如何根据索引检索到tensor的byte location的方式，比如narrow()view()expand()permute()[1]。
【pytorch进阶】| 各类张量形状变化函数总结对比分析，view，reshape，pernute，transpose，squeeze，unsqueeze
专注于人工智能的算法与应用
01-25 2342
reshape和view，大概率情况下会共享底层内存，但是在不连续的张量情况下（不连续发生在切片或者转置的时候），这时候会建立新的副本，这时候必须用reshape。函数生成的张量并不会和原始张量共享内存，并不会修改原始张量，而是返回一个新的张量副本。要求 变化后元素总的个数和变化前相同，对应上面的例子，变化前后都得是12个元素~（3,4）（2,6）（1,12）该函数返回一个新的张量，其维度顺序是原始张量维度的重新排列。方法则需要一个目标张量，它会将原始张量的形状改变为与目标张量相同的形状。
对pytorch中view与reshape的理解
深海游鱼
07-04 1020
同： 从功能上来看，它们的作用是相同的，都是将原张量元素(按顺序)重组为新的shape。 异： 我的理解是，有两种情况： 如果一个tensor原本在内存中是连续的，此时可以直接使用view()，也可以直接使用reshape()方法。 如果原tensor经过了transpose之类的操作，改变了tensor中的元素（比如交换了元素的位置），但是tensor在内存空间中的存储位置没有改变，那么变换后的tensor在内存空间中的存储就不连续了。 此时若想reshape变换后的tensor，可以有两种方法： 一
Pytorch数据增强操作顺序影响和图片显示
weixin_46028455的博客
03-06 732
使用pytorch进行数据增强，顺序的调整对图片的质量会有一定的影响。如果先进行旋转等操作，最后进行resize大小调整，图片失真效果相对来说会小一些。为了得到比较理想的数据增强结果，还是需要对部分图片进行测试查看。先进行大小缩放然后在进行旋转等其他随机操作，对图片失真影响较大。操作顺序对于时间影响变化我还没有进行测试，感兴趣的小伙伴可以自行进行测试。执行完程序后，我们可以对测试结果进行查看。从图片边缘可以看到较为明显的锯齿线。
pytorch 共享参数方法
热门推荐
修锅换壶底
02-26 1万+
在很多神经网络中，往往会出现多个层共享一个权重的情况，pytorch可以快速地处理权重共享问题。例子1：class ConvNet(nn.Module): def __init__(self): super(ConvNet, self).__init__() self.conv_weight = nn.Parameter(torch.randn(3, 3, ...
Pytorch中 permute / transpose 和 view / reshape， flatten函数
ytusdc的博客
08-21 4964
Pytorch中 permute、transpose 和 view 、resize函数
Pytorch中变换维度:reshape,view,permute以及transform的示例
weixin_43436958的博客
09-20 7516
  每一次写代码当需要变换维度的时候总会在纠结究竟用哪一种变换维度的函数能够保持自己获得想要的结果，这次于是就举几个简单的例子来对比一下：   假设我们有一个矩阵如下所示： a=torch.IntTensor([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])   a是一个[2, 2, 3]的矩阵，如下所示： tensor([[[ 1, 2, 3], [ 4, 5, 6]], [[ 7, 8
PyTorch中.view()与.reshape()方法的对比(还有.resize_()方法的一些说明)
风筝大晒的博客
02-13 6529
torch.Tensor.reshape() VS torch.Tensor.view() 相同点：从功能上来看，它们的作用是相同的，都是将原张量元素(按顺序)重组为新的shape。 区别在于： .view()方法只能改变连续的(contiguous)张量，否则需要先调用.contiguous()方法，而.reshape()方法不受此限制； .view()方法返回的张量与原张量共享基础数据(...
ShuffleAttention pytorch
09-14
attended_vals = attended_vals.transpose(1, 2).reshape(B, L, C) x = self.proj_dropout(self.proj(attended_vals)) return x ``` 这是一个简化版的 ShuffleAttention 实现，其中包含了自注意力机制的关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值