李沐深度学习预备知识——数据操作

预备知识——数据操作

---

1、数据操作

1.1 基本操作

import torch
x = torch.arange(12)
print(x)
print(x.shape)
print(x.numel())

x=x.reshape(3,4)# 变形

x=x.reshape(2,-1)# -1代表自动计算

torch.zeros((2,3,4))# 生成全0张量

torch.ones((2,3,4))# 生成全1张量

torch.randn(3,4)# 生成服从（0，1）的正态分布抽取的随机采样构成的张量

torch.tensor([[2, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])# 用列表为张量中元素赋值

---

1.2 运算符

• 一元标量运算符：常说的$f:\mathbb{R}\to \mathbb{R}$的映射，接受一个输入产生一个输出
  一元向量运算符：$f:u\to v$
  可推广二元运算符：$f:R,R\to R$
  在这里我们通过将标量函数，升级为按元素的向量运算生成向量值。

x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
x + y, x - y, x * y, x / y, x ** y
torch.exp(x)

• 除了按元素计算，还有线性代数运算，包含向量点积与矩阵乘法
• 对整个张量操作，张量连结（concatenate）

X = torch.arange(12, dtype=torch.float32).reshape((3,4))
Y = torch.tensor([[2.0, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
torch.cat((X, Y), dim=0), torch.cat((X, Y), dim=1)# 0表示沿轴0，即行连结，1表示轴1，即列
X==Y# 返回一个张量，其中x与y相同位置，元素相同为True，不同为False
X.sum()# 对X中元素求和，产生单元素张量

---

1.3 广播机制

若张量形状不同，则两张量的运算会先各自适当自我复制元素来扩展，两张量都完成扩展后再按元素相加。
广播机制的工作原理如下：

• 首先，进行广播操作的两个张量需要满足广播规则。广播规则要求两个张量在某个或者某些维度上的形状是相等的，或者其中一个张量在这些维度上的形状是1。
• 如果两个张量的形状在某些维度上不同，而且这些维度上的形状不满足上述规则，那么需要通过扩展维度（添加尺寸为1的维度）的方式将两个张量形状对齐。
• 当形状对齐后，广播机制将自动复制张量，使它们在对齐后的维度上形状相等。这意味着张量的元素可以与对应位置的其他张量的元素进行计算。
• 最后，执行逐元素运算。广播机制会并行地对两个或多个张量的元素执行相应的运算操作，返回一个新的张量作为输出结果。

a = torch.arange(3).reshape((3, 1))
b = torch.arange(2).reshape((1, 2))
a, b
a + b

---

1.4 索引和切片

与任何其他的python索引一致，故略。

---

1.5 节省内存

深度学习中参数较多，并在一秒内多次更新所有参数，此时希望能够在原地址更新以防内存占用。并且如果不原地更新，其他的引用对象仍然会指向原位置，容易造成使用未更新的老参数，故了解tensor的内存机制很重要。

import torch
Y=torch.tensor([1,2,3,4,5])
X=torch.tensor([[[1],[5]]])
id(Y)
Y=Y+X # 此操作为Y分配了新地址
id(Y)
Y+=X # 此操作原址更新
id(Y)
Z=torch.zeros_like(Y)
id(Z)
Z[:]=X+Y # 切片是原址更新的
id(Z)

1.6 张量与其他python对象转换

Numpy的ndarray与pytroch的tensor可以容易的转换

import torch # 在python控制台执行
X=torch.tensor([1])
A = X.numpy()
B = torch.tensor(A)
type(A), type(B)

大小为1的tensor张量可以容易的以item函数或py内置函数转换成py的标量

a = torch.tensor([3.5])
a, a.item(), float(a), int(a) # item将torch的单个张量转换成python scalar（标量）值
# Out[3]: (tensor([3.5000]), 3.5, 3.5, 3)