PyTorch基础：Tensor的内存共享

最新推荐文章于 2023-10-20 11:19:34 发布
最新推荐文章于 2023-10-20 11:19:34 发布
阅读量1.8k 收藏 4
点赞数
分类专栏： PyTorch基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42782833/article/details/118065552
版权

为了实现高效计算，PyTorch提供了一些原地操作运算，即in-place operation，不经过复制，直接在原来的内存上进行计算。对于内存共享，主要有如下3种情况：
在这里插入图片描述

  1. 通过Tensor初始化Tensor
    直接通过Tensor来初始化另一个Tensor，或者通过Tensor的组合、分块、索引、变形操作来初始化另一个Tensor，则这两个Tensor共享内存。
    在这里插入图片描述
  2. 原地操作符
    PyTorch对于一些操作通过加后缀 “ _ ” 实现了原地操作，如add_()和resize_()等，这种操作只要被执行，本身的Tensor则会被改变。
    在这里插入图片描述
  3. Tensor与NumPy转换
    Tensor与NumPy可以高效地进行转换，并且转换前后的变量共享内存。在进行PyTorch不支持的操作时，甚至可以曲线救国，将Tensor转换为NumPy类型，操作后再转换为Tensor
    在这里插入图片描述
丁天牛
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch中使用多GPU并行训练
@bangbang的博客
08-11 2751
这里给出了两种，当然不局限于这两种。: 当模型特别大的时候，由于使用的GPU显存不够，无法将一个网络放在一块GPU里面，这个时候我们就可以网络不同的模块放在不同的GPU上，这样的话，我们就可以去训练一个比较大型的网络了,这就是的训练方式。:我们把整个模型放在一块GPU里面，并且将模型复制到每块GPU设备上，然后让它同时进行正向传播以及反向的误差传播。这种常见的训练方法叫做。第二种方法由于我们能够同时并行输入样本进行训练，这就相当于增加了训练的batch size,这样的话我们训练速度就加快了。...
pytorch变量间的内存共享
longteng_guo的博客
07-08 1612
我们在使用pytorch时，经常会用一个变量对另外一个变量赋值，但是某些操作得到的结果只是原变量的引用，内存是共享的，修改一个变量，其他变量的值也会受影响。有些操作是拷贝的操作。 使用 b=a[:,:5,5] b=a[0] b=a[…,0] 等操作得到的a是b的一个引用，内存是共享的，当b的值被某些操作修改后，a的值也会改变， c=b.unsqueeze(0).expand(10,4) , Tensor.expand_as（）操作得到的c与b的内存是共享的，expand增加的维度占用是同一块内存，当c的值被
PyTorch|Tensor的创建
木千之
01-10 1039
Tensor是PyTorch中的基础数据概念，直译过来为“张量”。那么什么是张量呢？我们知道，数学是研究世间数量和空间关系的学科，“张量”作为一种特殊的数量形式，自然也来自于数学领域。最原始的数量就是标量，因为其只有“数量”而没有变化方向，如数字“1”。若将标量沿着某个方向进行数据扩展，就会得到一个1维数组，也称为1维张量（通俗理解是沿着某个方向“扩张”）。若在1维数组的基础上再添加一个方向，则容易变成2维数组，即2维张量。
第二章 Pytorch基础 Chapter 2-4 Numpy与Tensor
wangwang的博客
04-03 331
Tensor与Numpy相似，二者可以共享内存，而且之间的转换非常方便与高效。 最大的区别在于，Numpy中的ndarray只能在cpu中进行加速计算，而由torch产生的tenor可以放在GPU中进行加速运算。 2.4.1 Tensor概述 对Tensor的操作，从接口的角度分为两类： torch.funciton tensor.function torch.add(x,y)等价于x.ad...
【笔记】python 中＜class ‘torch.Tensor‘＞（类似列表）做切片：内存共享
nyist_yangguang的博客
10-19 771
网上很多人说，list 在python中做切片处理的时候，不会共享内存，并且做出了一些程序展示。 我经过实践，发现在pytorch中，<class 'torch.Tensor'>的列表做切片处理，内存是共享的。
Pytorch中‘内存共享’和‘内存连续’特性总结
wulele2的博客
10-16 2353
本文旨在记录pytorch的API如何影响Tensor运算的‘内存共享性’和‘内存连续性’。’内存共享‘可以理解为浅拷贝；’内存连续’就是Tensor在信息区的内存空间上的连续性。本文会结合代码介绍pytorch中的op是如何影响这两个性质的。大家可先扫一眼下面的代码：这里简单介绍两个API，is_contiguous()能够判断一个Tensor的**信息区**上是否‘内存连续’；.data_ptr()能够返回张量在内存空间上的地址，可用于判断两个张量是否‘内存共享’。
torch.tensor 内存共享机制
qq_42955211的博客
09-29 638
torch.tensor的内存分配机制
Pytorch中view、索引、numpy与tensor的转换中的内存共享问题
qq_52486404的博客
10-20 172
Pytorch中view、索引、numpy与tensor的转换中的内存共享问题
torch常用函数
L18273121172的博客
12-09 881
torch常用函数共享内存 共享内存 tensor.share_memory_() 将tensor从底层内存转移到共享内存，可以在进程之间共享，但是大小不能改变
第三章 PyTorch基础：Tensor和Autograd
最新发布
10-25
1) Tensor和Autograd基础 2) tensor的基本操作 3) Autograd的基础操作
PyTorch 基础：Tensor（张量）-谢TS的博客.pdf
07-17
torch.Tensor 是包含单一数据类型元素的多维数组，它是 PyTorch 中数据存储和运算的基本单元，类似于 NumPy 的 numpy.ndarray，两者的函数接口和运算方式几乎一样。实际上 PyTorch 内部也是把 ndarray 包装成 Tensor...
pytorch: tensor类型的构建与相互转换实例
09-20
今天小编就为大家分享一篇pytorch: tensor类型的构建与相互转换实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 实现删除tensor中的指定行列
09-18
今天小编就为大家分享一篇pytorch 实现删除tensor中的指定行列，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch中的.clone() 和 .detach()复制变量、共享内存变量
爱在深秋
08-31 8304
使用torch.clone()获得的新tensor和原来的数据不再共享内存，但仍保留在计算图中，clone操作在不共享数据内存的同时支持梯度梯度传递与叠加，所以常用在神经网络中某个单元需要重复使用的场景下。需要注意的是view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor（因为Tensor除了包含data外还有一些其他属性），两者id（内存地址）并不一致。detach()函数可以返回一个完全相同的tensor,与旧的tensor共享内存，脱离计算图，不会牵扯梯度计算。..
深度学习(23):numpy与tensor的数据转换、相互赋值
biter0088的博客
03-22 2586
用一个 tensor/numpy 使用赋值初始化另一个 tensor出问题，需要考虑tensor/numpy的内存共享机制
pytorch tensor数据存储与内存共享
heart_in_someone的博客
07-14 3563
tensor分为头信息区（Tensor）和存储区（Storage）。信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息，而真正的数据则保存成连续数组，存储在存储区。 通过id（tensor.storage)来获取“存储区”，注意：id（tensor)与id(tensor.storage)不同，id（tensor)是整个tensor所占的内存地址（包括信息区和存储区），而 id(tensor.storage)只是该tensor存储区的内存地址，也就是说某几个
PyTorch基础：神经网络工具箱torch.nn(nn.Module类)
weixin_42782833的博客
06-21 6224
perception.py import torch from torch import nn #首先建立一个全连接的子module，继承nn.Module class Linear(nn.Module): def __init__(self, in_dim, out_dim): super(Linear, self).__init__() #调用nn.Module的构造函数 #使用nn.Parameter来构造需要学习的参数 self.w
PyTorch基础：Tensor的排序与取极值
weixin_42782833的博客
06-20 5568
比较重要的是排序函数sort()，选择沿着指定维度进行排序，返回排序后的Tensor及对应索引位置。max()与min()函数则是沿着指定维度选择最大与最小元素，返回改元素及对应的索引位置。 对于Tensor的单元素数学运算，如abs()、sqrt()、log()、pow()和三角函数等，都是逐元素操作(element-wise)，输出的Tensor形状与原始Tensor形状一致 对于类似求和、求均值、求方差、求距离等需要多个元素完成的操作，往往需要沿着某个维度进行计算，在Tensor中属于归并操作，输出
PyTorch基础：数据处理(数据加载、GPU加速)
weixin_42782833的博客
06-25 5092
数据对于深度学习而言是至关重要的。丰富、完整、规范的数据集往往能训练处效果更佳的网络模型 主流公开数据集 ImageNet数据集 PASCAL VOC数据集 COCO(Common Object in Context)数据集 数据加载 PyTorch将数据集的处理过程标准化，提供了Dataset基本的数据类，并在torchvision中提供了众多数据变化函数，数据加载的具体过程主要分为3步： 继承Dataset类 增加数据变换与增强：torchvision.transforms 继承Dataloade
pytorch中TENSOR VIEWS介绍
05-26
在PyTorch中，Tensor Views是一种非常重要的概念，它可以帮助我们更高效地利用内存并减少计算时间。Tensor Views是指在不复制数据的情况下，将一个Tensor表示为另一个Tensor的一部分或某些操作的结果。 在PyTorch中，我们可以使用以下方法创建Tensor Views： 1. 使用Tensor的slice方法创建一个切片Tensor，它与原始Tensor共享内存，但是具有不同的形状。 2. 使用Tensor的narrow方法创建一个窄Tensor，它与原始Tensor共享内存，但是只包含原始Tensor中的一个子集。 3. 使用Tensor的select方法创建一个select Tensor，它与原始Tensor共享内存，但是只包含原始Tensor中的一个维度上的数据。 4. 使用Tensor的transpose方法创建一个transpose Tensor，它与原始Tensor共享内存，但是具有不同的形状。 5. 使用Tensor的view方法创建一个view Tensor，它与原始Tensor共享内存，但是具有不同的形状。注意，view Tensor必须具有与原始Tensor相同的元素数。 通过使用Tensor Views，我们可以有效地减少内存消耗和计算时间，并且可以更方便地进行数据操作。然而，需要注意的是，在使用Tensor Views时必须小心，因为一些操作可能会在不经意间修改原始Tensor中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丁天牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值