PyTorch | tensor 的存储（storage、offset 和 stride）

最新推荐文章于 2024-06-03 21:35:19 发布

软耳朵DONG

最新推荐文章于 2024-06-03 21:35:19 发布

阅读量1.4k

点赞数 5

分类专栏： pytorch 文章标签： pytorch 深度学习 deep learning

本文链接：https://blog.csdn.net/m0_52650517/article/details/119453494

版权

20 篇文章 8 订阅

订阅专栏

1. Storage

$t e n s o r$ 分为头信息区 $（ T e n s o r ）$ 和存储区 $（ S t o r a g e ）$ 。
头信息区 $（ T e n s o r ）$ 主要保存着 $t e n s o r$ 的形状 $（ s i z e ）$ 、步长 $（ s t r i d e ）$ 、数据类型 $（ t y p e ）$ 等信息，而真正的数据则保存成连续数组，存储在存储区 $（ S t o r a g e ）$ 。
因为数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用取决于 $t e n s o r$ 中元素的数目，即存储区的大小。
不同的 $t e n s o r$ 的头信息一般不同，但是可能使用相同的 $s t o r a g e$ 。

$S t o r a g e$ 查看
```
import torch
t = torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
t.storage()
```
$S t o r a g e$ 索引
```
import torch
t = torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
t.storage()[1]
```
$S t o r a g e$ 修改
```
import torch
t = torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
t.storage()[1]=10
t.storage()
```
$S t o r a g e$ 判断
$torch.is\_storage(obj)：$ 如果 $o b j$ 是一个 $pytorch\ storage$ 对象，则返回 $T r u e$ 。

$s t r i d e$ 是 $s t o r a g e$ 中对应于 $t e n s o r$ 的相邻维度间第一个索引的跨度，也叫步长。
当我们根据下标索引查找 $t e n s o r$ 中的任意元素时，将某维度的下标索引和对应的步长相乘，然后将所有维度乘积相加就可以了。
根据 $t e n s e r$ 中的索引 $i, j$ 查找 $s t o r a g e$ 中对应索引的公式是 $storage\_offset+stride[0]*i+stride[1]*j$ ，因为是从 $s t o r a g e$ 的开头查找，所以 $storage\_offset=0$ 。

示例：上图是一个 $s t o r a g e$ ，与它对应的 $t e n s o r ([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])$ 如下图所示：

$\qquad$ 那么 $t e n s o r$ 的 $s t r i d e = (3, 1)$ ，因为从第一行的第一个索引到第二行第一个索引跨度是 $3$ ，从第一列到第二列的跨度是 $1$ 。