理解PyTorch的contiguous()

最新推荐文章于 2024-07-06 11:31:23 发布
最新推荐文章于 2024-07-06 11:31:23 发布
阅读量6k 收藏 14
点赞数 4
文章标签： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Quincuntial/article/details/89670199
版权

文章作者：Tyan
博客：noahsnail.com  |  CSDN  |  [简书](http://www.jianshu.com/users/7731e83f3a4e/latest_articles

1. PyTorch中的Tensor操作

在PyTorch中，有一些对Tensor的操作不会真正改变Tensor的内容，改变的仅仅是Tensor中字节位置的索引。这些操作有：

narrow(), view(), expand(), transpose()

例如执行view操作之后，不会开辟新的内存空间来存放处理之后的数据，实际上新数据与原始数据共享同一块内存。

而在调用contiguous()之后，PyTorch会开辟一块新的内存空间存放变换之后的数据，并会真正改变Tensor的内容，按照变换之后的顺序存放数据。

参考资料

  1. https://stackoverflow.com/questions/48915810/pytorch-contiguous
  2. https://www.zhihu.com/question/60321866
SnailTyan
关注
专栏目录
PyTorch contiguous 的概念
Talk Is Cheap
12-06 9697
x = torch.Tensor(2,3) y = x.permute(1,0) y.view(-1) # 报错，因为x和y指针指向相同 y = x.permute(1,0).contiguous() y.view(-1) # OK
深入解析PyTorch中的CUDA内存管理与优化策略
程序员光剑
05-26 308
在深度学习训练和推理过程中，GPU的内存管理是一个至关重要的环节。尤其在使用PyTorch框架时，合理管理和优化CUDA内存可以显著提升模型的性能和稳定性。然而，CUDA内存不足（Out of Memory, OOM）错误是开发者经常遇到的问题。本文将详细解析CUDA内存管理的核心概念、算法原理、数学模型，并提供实际的代码实例、应用场景、工具和资源推荐，帮助开发者更好地理解和解决CUDA内存不足的问题。随着深度学习模型的不断发展和复杂化，GPU内存管理将面临越来越大的挑战。
pytorch：contiguous()
weixin_42187536的博客
03-31 1045
contiguous:连续的，邻近的 调用contiguous时，会强制拷贝一份tensor，但两个tensor完全没有联系。则断开两个变量之间的依赖，也就是所谓的深拷贝。 x = torch.randn(3, 2) y = torch.transpose(x, 0, 1).contiguous() print('修改前：') print('x-', x) print('y-', y) print('\n修改后：') y[0, 0] = 11 print('x-', x) print('y-', y)
.contiguous()
最新发布
weixin_44012667的博客
07-06 193
具体来说，当一个张量在内存中是连续存储的时候，它的所有元素在内存中的地址是连续的，这样能够提高访问和操作的效率。在这些情况下，如果要继续进行后续的数值计算或者其他操作，就需要先调用 `.contiguous()` 方法，将张量转换为连续的形式。在PyTorch中，`.contiguous()` 是一个方法，用于确保张量在内存中是连续存储的。在张量的计算过程中，有时候可能会出现非连续的情况，这时使用 `.contiguous()` 可以将其转换为连续的形式，以便后续的操作能够顺利进行。
pytorch中的contiguous()
木盏
07-04 442
我们随便初始化的张量一开始都是连续张量，后来在计算中为了加速和节省存储，我们只会操作张量的索引，比如常见的narrow(), view(), expand() 和 transpose()等。这样就会产生在内存上不连续，或者索引值顺序乱序的情况。由这个例子，我们可以看出，二维张量转置以后会变得不连续，我们用contiguous做连续化以后并不会覆盖原来的张量，而是重新开辟了一块地址来存储连续的新张量。所以，contiguous只是在存储上做调整，不会改变张量的值。将张量在内存上调整为连续。
torch中contiguous()函数
orangerfun的博客
10-09 5275
1. 背景 torch中一些操作会改变原数据，比如：narrow() view() expand() transpose()等操作，在使用transpose()进行转置操作时，pytorch并不会创建新的、转置后的tensor，而是修改了tensor中的一些属性（也就是元数据），使得此时的offset和stride是与转置tensor相对应的。转置的tensor和原tensor的内存是共享的，即改变转置后的tensor, 原先tensor中内容也会改变，而contiguous方法就类似深拷贝，使得上面这些操
torch.contiguous()方法
anshiquanshu的专栏
05-27 401
orch.contiguous()方法语义上是“连续的”，经常与torch.permute()、torch.transpose()、torch.view()方法一起使用，要理解这样使用的缘由，得从pytorch多维数组的低层存储开始说起： touch.view()方法对张量改变“形状”其实并没有改变张量在内存中真正的形状，可以理解为： view方法没有拷贝新的张量，没有开辟新内存，与原张量共享内存； view方法只是重新定义了访问张量的规则，使得取出的张量按照我们希望的形状展现。 pytorch与num
pytorch-contiguous() 函数.pdf
02-17
### PyTorch中contiguous()...总之，理解 `contiguous()` 方法的工作原理及其如何影响张量操作对于高效地使用PyTorch进行深度学习模型开发至关重要。通过合理使用此方法，可以确保模型训练过程中的数据一致性和准确性。
Pytorch之contiguous的用法
09-18
在PyTorch中，`contiguous()`是一个非常重要的函数，它涉及到张量（Tensor）的内存布局和计算效率。理解其用法对于优化代码性能至关重要。本文将深入探讨`contiguous()`的含义、作用以及如何使用。 首先，我们需要...
pytorch中contiguous()的理解
weixin_38410551的博客
04-01 1030
功能：将tensor的内存变为连续的。 有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把tensor变成在内存中连续分布的形式。 注：在pytorch的最新版本0.4版本中，增加了torch.reshape(), 这与 numpy.reshape 的功能类似。它大致相当于 tenso...
pytorch permute维度转换方法
09-19
接下来，我们通过一个具体的例子来更好地理解`permute`方法的工作原理： ```python import torch # 创建一个形状为 (3, 3) 的一维张量 x = torch.linspace(1, 9, steps=9).view(3, 3) print("原始张量:") print(x)...
pytorch中contiguous()的用法
weixin_42907473的博客
07-08 2719
contiguous：view只能用在contiguous的variable上。如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。 一种可能的解释是： 有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把...
Pytorch中contiguous()函数理解
热门推荐
清晨的光明
08-23 7万+
引言 在pytorch中，只有很少几个操作是不改变tensor的内容本身，而只是重新定义下标与元素的对应关系的。换句话说，这种操作不进行数据拷贝和数据的改变，变的是元数据。 会改变元数据的操作是： narrow() view() expand() transpose() 在使用transpose()进行转置操作时，pytorch并不会创建新的、转置后的tensor，而是修改了tensor中的一些属性（也就是元数据），使得此时的offset和stride是与转置tensor相对应的。转置的t.
Pytorch之contiguous函数
开飞机的小毛驴儿
02-19 1408
转载自：https://zhuanlan.zhihu.com/p/64376950，本文只做个人记录学习使用，版权归原作者所有。 contiguous()->Tensor返回一个内存连续的有相同数据的tensor，如果原tensor内存连续，则返回原tensor。 pytorch contiguous一般与transpose，permute,view搭配使用：使用transpose或pe...
pytorch | contiguous() 函数
Ddddddd_158的博客
03-29 1961
pytorch | contiguous() 函数
pytorch中的contiguous()函数的浅浅解释
To be a better man
05-13 4946
contiguous() 有些tensor并不是占用一整块内存，而是由不同的数据块组成。 contiguous()函数的作用：把tensor变成在内存中连续分布的形式。 来自链接一 contiguous一般与transpose，permute，view搭配使用：使用transpose或permute进行维度变换后，调用contiguous，然后方可使用view对维度进行变形（如：tensor_var.contiguous().view() ），示例如下： x = torch.Tensor(
【input.view().permute().contiguous()】 Pytorch中tensor.view().permute().contiguous()函数理解
计算机视觉方面的点点滴滴，欢迎一起讨论
04-07 1778
文章目录1 何处用到2 view()3 permute()4 contiguous()5 感谢链接 1 何处用到 yolov3中有一行这样的代码，在此记录一下三个函数的含义 例子中batch_size为int，len(self.anchors_mask[i])=3，self.bbox_attrs=25(voc数据集)，input_height, input_width两个参数也均为int。 prediction = input.view(batch_size, len(self.anchors_mask[i
pytorch中contiguous()
qq_38156104的博客
10-19 355
contiguous：view只能用在contiguous的variable上。 如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。 一种可能的解释是： 有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把tensor变成在内存中连续分布的形式。 判断是否contiguous用torch.Tensor.is_co
Pytorch：view()、permute()和contiguous()
weixin_42046845的博客
11-28 343
在pytorch中只有很少几个操作是**不改变tensor内容本身的**，大多数操作**不进行数据拷贝和数据的改变，变的是原数据**。例如：narrow()、view()、expand()和transpose()等。
pytorch contiguous
03-16
PyTorch中的contiguous函数是用来将Tensor变成连续的Tensor的。在PyTorch中，Tensor的存储方式是按照列优先（column-major）的方式存储的，也就是说，Tensor的每一列都是连续存储的，而每一行则不一定是连续存储的。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值