tensor 张量

在数学中，一个单独的数可以成为标量，一列或者一行数组可以称为向量，一个二维数组成为矩阵，矩阵中的每一个元素都可以被行和列的索引唯一确定，如果数组的维度超过2，那么我们可以称该数组为张量。但是在 pytorch 中，张量属于一种数据结构，它可以是一个标量、一个向量、一个矩阵，甚至是更高维的数组，所以 pytorch 中 tensor 和 numpy 库中的数组 ndarray 非常相似，在使用时也会经常将 pytorch 的相关计算和优化都是在 tensor 的基础上完成的。

在 torch 中 CPU 和 GPU 张量分别有 8 种数据类型

数据类型	dtype	CPU tensor	GPU tensor
32 位浮点型	torch.float32 或 torch.float	torch.FloatTensor	torch.cuda.FloatTensor
64 位浮点型	torch.float64 或 torch.double	torch.DoubleTensor	torch.cuda.DoubleTensor
16 位浮点型	torch.float16 或 torch.half	torch.HalfTensor	torch.cuda.HalfTensor
8 位无符号整型	torch.uint8	torch.ByteTensor	torch.cuda.ByteTensor
8 位有符号整型	torch.int8	torch.CharTensor	torch.cuda.CharTensor
16 位有符号整型	torch.int16 或 torch.short	torch.ShortTensor	torch.cuda.ShortTensor
32 位有符号整型	torch.int32 或 torch.int	torch.IntTensor	torch.cuda.IntTensor
64 位有符号整型	torch.int64 或 torch.long	torch.LongTensor	torch.cuda.LongTensor