PyTorch contiguous 的概念

最新推荐文章于 2024-10-25 08:54:09 发布

_Focus_

最新推荐文章于 2024-10-25 08:54:09 发布

阅读量9.7k

点赞数

分类专栏： PyTorch

本文链接：https://blog.csdn.net/guotong1988/article/details/78730078

版权

PyTorch 专栏收录该内容

87 篇文章 4 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了PyTorch中Tensor的contiguous属性，解释了其重要性以及何时需要确保Tensor是contiguous的。通过实例展示了非contiguous Tensor的处理方式，帮助读者更好地理解和使用PyTorch进行深度学习计算。

摘要由CSDN通过智能技术生成

x = torch.Tensor(2,3)
y = x.permute(1,0)
y.view(-1) # 报错，因为x和y指针指向相同
y = x.permute(1,0).contiguous()
y.view(-1) # OK

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

_Focus_

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Pytorch之contiguous

Miracle8070

08-10

503

contiguous() tensor变量调用contiguous()函数会使tensor变量在内存中的存储变得连续。 contiguous()：view只能用在contiguous的variable上。如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。一种可能的解释是：有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous(

深入解析PyTorch中的CUDA内存管理与优化策略

AI天才研究院

05-26

494

在深度学习训练和推理过程中，GPU的内存管理是一个至关重要的环节。尤其在使用PyTorch框架时，合理管理和优化CUDA内存可以显著提升模型的性能和稳定性。然而，CUDA内存不足（Out of Memory, OOM）错误是开发者经常遇到的问题。本文将详细解析CUDA内存管理的核心概念、算法原理、数学模型，并提供实际的代码实例、应用场景、工具和资源推荐，帮助开发者更好地理解和解决CUDA内存不足的问题。随着深度学习模型的不断发展和复杂化，GPU内存管理将面临越来越大的挑战。

参与评论您还未登录，请先登录后发表或查看评论

torch.permute方法使用，后需要加.contiguous()方法

qq_43369406的博客

04-07

1946

pytorch的permute方法用于调整矩阵的维度。同numpy的transpose()方法，但需要注意的是使用permute后需要使用contiguous方法。在PyTorch中，permute()方法可以重新排列张量的维度。但是，由于内存布局的原因，有时需要使用contiguous()方法来确保张量是连续的。如果张量不是连续的，则可能会导致一些操作失败。在这个例子中，我们使用permute()方法将第一个维度移动到最后一个维度。然后，我们使用contiguous()方法来确保张量是连续的。

PyTorch中的contiguous

Arthur_Holmes的博客

12-07

1311

PyTorch中的contiguous栩风码农265 人赞同了该文章本文讲解了pytorch中contiguous的含义、定义、实现，以及contiguous存在的原因，非contiguous时的解决办法。并对比了numpy中的contiguous。contiguous 本身是形容词，表示连续的，关于 contiguous，PyTorch 提供了is_contiguous、contiguous(形...

pytorch中的permute()函数的原理

最新发布

COOKER的博客

10-25

184

代码a.permute(2,0,1)把最初的2，3，4维度，给调整成了4,2,3维度，并且保持维度内的数值关系不变。那么代码a.permute(1,0)就相当于a.T。他的功能就是把一个多维张量的维度进行调换。仔细观察数值位置的变化，就会理解了。permute的中文含义是：置换。这个就已经解释了一半了。

.permute(),.contiguous()和.view()函数

qq_42256930的博客

08-02

265

contiguous()一般在permute()等改变形状和计算返回的tensor后面，因为改变形状后，有的tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把tensor变成在内存中连续分布的形式。permute函数将tensor的维度换位。

pytorch中contiguous()

Deep Learning and NLP Farm

04-29

4万+

contiguous：view只能用在contiguous的variable上。如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。一种可能的解释是：有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数...

Pytorch之contiguous函数

开飞机的小毛驴儿

02-19

1426

转载自：https://zhuanlan.zhihu.com/p/64376950，本文只做个人记录学习使用，版权归原作者所有。 contiguous()->Tensor返回一个内存连续的有相同数据的tensor，如果原tensor内存连续，则返回原tensor。 pytorch contiguous一般与transpose，permute,view搭配使用：使用transpose或pe...

pytorch中的contiguous()

木盏

07-04

552

我们随便初始化的张量一开始都是连续张量，后来在计算中为了加速和节省存储，我们只会操作张量的索引，比如常见的narrow(), view(), expand() 和 transpose()等。这样就会产生在内存上不连续，或者索引值顺序乱序的情况。由这个例子，我们可以看出，二维张量转置以后会变得不连续，我们用contiguous做连续化以后并不会覆盖原来的张量，而是重新开辟了一块地址来存储连续的新张量。所以，contiguous只是在存储上做调整，不会改变张量的值。将张量在内存上调整为连续。

pytorch | contiguous() 函数

Ddddddd_158的博客

03-29

2271

pytorch | contiguous() 函数

pytorch，张量的contiguous()

10-19

在PyTorch中，`contiguous()`是一个重要的概念，它用于描述Tensor内存布局的一致性。当一个Tensor的数据在内存中是连续存储的，即它的所有元素都在同一块连续的内存区域，那么这个Tensor就被认为是contiguous的[^1]...

pytorch 常用线性函数详解

09-18

值得注意的是，在PyTorch中进行转置操作后，矩阵可能不再连续存储，这时可以使用.contiguous方法使得矩阵重新连续存储。 6. dot和cross函数：dot函数实现的是向量内积（也称为点积），而cross函数则是计算向量的外...

数据分析-深度学习 Pytorch Day3

weixin_43902376的博客

01-13

734

PyTorch张量在概念上与numpy数组相同:张量是一个n维数组，PyTorch提供了许多操作这些张量的函数。对于现代的深度神经网络，gpu通常提供50倍或更高的加速，所以很不幸numpy不足以满足现代的深度学习。Torch张量和NumPy数组将共享它们的底层内存位置(如果Torch张量在CPU上)，改变一个就会改变另一个。当创建一个未初始化的矩阵时，无论当时分配的内存中有什么值，都会显示为初始值。在现有张量上创建的张量，其属性将重用输入张量的属性，除非用户提供新的值。

PyTorch中，contiguous()

qq_51753728的博客

08-23

1238

连续（contiguous）内存块是指一系列数据在内存中的存储是相邻的、没有间隔的。当数据是连续存储时，计算机处理器可以更快地获取数据，因为它可以按照内存地址的顺序依次读取数据，而不需要在不同的内存位置之间进行跳转。方法时，PyTorch会创建一个新的连续的Tensor，它会重新排列数据以确保连续的内存布局。当一个Tensor在内存中的存储不是连续的时候，它可能会影响一些操作的性能和可行性。方法的作用就是将一个不连续的Tensor变成连续的，从而确保内存块的布局是连续的。，并再次检查了它的连续性。

Pytorch中contiguous()函数理解