【PyTorch】Tensor（张量）介绍

Tensor 的概念

Tensor 中文为张量。张量的意思是一个多维数组，它是标量、向量、矩阵的高维扩展。
标量可以称为 0 维张量，向量可以称为 1 维张量，矩阵可以称为 2 维张量，RGB 图像可以表示 3 维张量。你可以把张量看作多维数组。

Tensor 与 Variable

在 PyTorch 0.4.0 之前，torch.autograd 包中存在 Variable 这种数据类型，主要是用于封装 Tensor，进行自动求导。Variable 主要包含下面几种属性。

• data: 被包装的 Tensor。
• grad: data 的梯度。
• grad_fn: 创建 Tensor 所使用的 Function，是自动求导的关键，因为根据所记录的函数才能计算出导数。
• requires_grad: 指示是否需要梯度，并不是所有的张量都需要计算梯度。
• is_leaf: 指示是否叶子节点(张量)，叶子节点的概念在计算图中会用到，后面详细介绍。
  

在 PyTorch 0.4.0 之后，Variable 并入了 Tensor。在之后版本的 Tensor 中，除了具有上面 Variable 的 5 个属性，还有另外 3 个属性。

• dtype: 张量的数据类型，如 torch.FloatTensor，torch.cuda.FloatTensor。
• shape: 张量的形状。如 (64, 3, 224, 224)。
• device: 张量所在设备 (CPU/GPU)，GPU 是加速计算的关键。

关于 dtype，PyTorch 提供了 9 种数据类型，共分为 3 大类：float (16-bit, 32-bit, 64-bit)、integer (unsigned-8-bit ,8-bit, 16-bit, 32-bit, 64-bit)、Boolean。模型参数和数据用的最多的类型是 float-32-bit。label 常用的类型是 integer-64-bit。

Tensor 创建的方法

直接创建 Tensor

torch.tensor()

功能：从data创建tensor

torch.tensor(data, dtype=None, device=None, requires_grad=False, pin_memory=False)

• data: 数据，可以是 list，numpy
• dtype: 数据类型，默认与 data 的一致
• device: 所在设备，cuda/cpu
• requires_grad: 是否需要梯度
• pin_memory: 是否存于锁页内存

代码示例：

arr = np.ones((3, 3))
print("ndarray的数据类型：", arr.dtype)
# 创建存放在 GPU 的数据
# t = torch.tensor(arr, device='cuda')
t= torch.tensor(arr)
print(t)

输出为：

ndarray的数据类型： float64
tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], dtype=torch.float64)

torch.from_numpy(ndarray)

功能：从numpy创建tensor

注意事项：从 numpy 创建 tensor。利用这个方法创建的 tensor 和原来的 ndarray 共享内存，当修改其中一个数据，另外一个也会被改动。

代码示例：

arr = np.array([[1, 2, 3], [4, 5, 6]])
t = torch.from_numpy(arr)

# 修改 array，tensor 也会被修改
# print("\n修改arr")
# arr[0, 0] = 0
# print("numpy array: ", arr)
# print("tensor : ", t)

# 修改 tensor，array 也会被修改
print("\n修改tensor")
t[0, 0] = -1
print("numpy array: ", arr)
print("tensor : ", t)

输出为：

修改tensor
numpy array:  [[-1  2  3]
 [ 4