Pytorch学习（一）：张量

以下内容为[Pytorch官网教程]的翻译简化和一些自己的总结(https://pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html)

张量对象

张量（Tensor）是一种特殊结构，出于并行计算的需要设计，可在GPU等硬件加速器上运行。类似于数组和矩阵，用于对模型的输入输出，模型参数进行编码。
Pytorch中的Tensor类似于Numpy中的ndarray，二者可相互转换，且共享底层内存，可理解为同一数据引用的不同表现形式。修改其中之一会同时修改另一方。

张量初始化

可由现有数据对象创建张量，或根据维度创建：

data = [[1, 2],[3, 4]]
x_data = torch.tensor(data)  # 从list转换得到张量，数据类型自动推断

np_array = np.array(data)
x_np = torch.from_numpy(np_array)  # 从Numpy ndarray转换得到张量
x = x_np.numpy()                   # 从张量转换得到Numpy ndarray

# 从现有张量创建张量，会默认继承张量属性（shape, dtype）
x_ones = torch.ones_like(x_data) 
x_rand = torch.rand_like(x_data, dtype=torch.float) 

# 由给定维度创建张量
shape = (2,3,)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)

张量属性

主要属性为shape，dtype和device
shape描述张量的维度
dtype描述张量的数据类型
device描述张量的存储位置

张量操作

张量默认创建在CPU上，如需在GPU上操作计算，需要显式地调用.to方法：

if torch.cuda.is_available():
    tensor = tensor.to('cuda')

所有的张量操作都可在GPU上执行，通常速度大大快于在CPU上执行。

索引切片操作

tensor = torch.ones(4, 4)
tensor[0]          # 第一行
tensor[:, 0]       # 第一列
tensor[..., -1]    # 最后一列

矩阵操作

# 张量拼接，dim为拼接的维度，在该维度增加的方向拼接张量
torch.cat([tensor, tensor, tensor], dim=1)  # cat()同concat()
# 张量拆分，dim为拆分的维度，注意最后一块可能大小不一致
torch.chunk(tensor, 3，dim=0)
# 张量转置，将对应两个维度调换
torch.transpose(tensor, 0, 1)
# 张量条件判定，返回选择后元素组成的张量
torch.where(x > 0, x, y)  # x,y须为可广播类型
# 张量元素选择，输入张量视为一维张量索引，返回张量与输入索引shape相同
torch.take(tensor, [0, 2, 5])
# 张量压缩，将大小为1的维度移除(返回张量与原张量共享内存)
torch.squeeze(tensor)
# 张量重塑，当输入shape的某一维为-1时，表示该维度由剩余元素推断得出
torch.reshape(tensor, (2, -1))
# 张量重排，返回张量重排后的视图
torch.permute(tensor, (2, 0 ,1))
# 张量压平，张量压平成一维
torch.flatten(tensor, start_dim=0, end_dim=-1)

算术操作

# 矩阵乘法，最终结果y1=y2=y3
y1 = tensor @ tensor.T
y2 = tensor.matmul(tensor.T)
y3 = torch.rand_like(tensor)
torch.matmul(tensor, tensor.T, out=y3)
# 矩阵点积，最终结果y1=y2=y3
z1 = tensor * tensor
z2 = tensor.mul(tensor)
z3 = torch.rand_like(tensor)
torch.mul(tensor, tensor, out=z3)
# 向下取整
torch.floor(tensor)
# 向上取整
torch.round(tensor)

# 求和
agg = tensor.sum()
agg_item = agg.item()  # 单元素张量转换为Python数值对象
# 求最大值的索引
torch.argmax(tensor)
# 求最大值的值
torch.max(tensor)
# 判断张量相等
torch.equal(tensor1, tensor2)