预备知识——数据操作
1、数据操作
1.1 基本操作
import torch
x = torch.arange(12)
print(x)
print(x.shape)
print(x.numel())
x=x.reshape(3,4)# 变形
x=x.reshape(2,-1)# -1代表自动计算
torch.zeros((2,3,4))# 生成全0张量
torch.ones((2,3,4))# 生成全1张量
torch.randn(3,4)# 生成服从(0,1)的正态分布抽取的随机采样构成的张量
torch.tensor([[2, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])# 用列表为张量中元素赋值
1.2 运算符
- 一元标量运算符:常说的
f
:
R
→
R
f:\R \to \R
f:R→R的映射,接受一个输入产生一个输出
一元向量运算符: f : u → v f:u \to v f:u→v
可推广二元运算符: f : R , R → R f:R,R \to R f:R,R→R
在这里我们通过将标量函数,升级为按元素的向量运算生成向量值。
x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
x + y, x - y, x * y, x / y, x ** y
torch.exp(x)
- 除了按元素计算,还有线性代数运算,包含向量点积与矩阵乘法
- 对整个张量操作,张量连结(concatenate)
X = torch.arange(12, dtype=torch.float32).reshape((3,4))
Y = torch.tensor([[2.0, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
torch.cat((X, Y), dim=0), torch.cat((X, Y), dim=1)# 0表示沿轴0,即行连结,1表示轴1,即列
X==Y# 返回一个张量,其中x与y相同位置,元素相同为True,不同为False
X.sum()# 对X中元素求和,产生单元素张量
1.3 广播机制
若张量形状不同,则两张量的运算会先各自适当自我复制元素来扩展,两张量都完成扩展后再按元素相加。
广播机制的工作原理如下:
- 首先,进行广播操作的两个张量需要满足广播规则。广播规则要求两个张量在某个或者某些维度上的形状是相等的,或者其中一个张量在这些维度上的形状是1。
- 如果两个张量的形状在某些维度上不同,而且这些维度上的形状不满足上述规则,那么需要通过扩展维度(添加尺寸为1的维度)的方式将两个张量形状对齐。
- 当形状对齐后,广播机制将自动复制张量,使它们在对齐后的维度上形状相等。这意味着张量的元素可以与对应位置的其他张量的元素进行计算。
- 最后,执行逐元素运算。广播机制会并行地对两个或多个张量的元素执行相应的运算操作,返回一个新的张量作为输出结果。
a = torch.arange(3).reshape((3, 1))
b = torch.arange(2).reshape((1, 2))
a, b
a + b
1.4 索引和切片
与任何其他的python索引一致,故略。
1.5 节省内存
深度学习中参数较多,并在一秒内多次更新所有参数,此时希望能够在原地址更新以防内存占用。并且如果不原地更新,其他的引用对象仍然会指向原位置,容易造成使用未更新的老参数,故了解tensor的内存机制很重要。
import torch
Y=torch.tensor([1,2,3,4,5])
X=torch.tensor([[[1],[5]]])
id(Y)
Y=Y+X # 此操作为Y分配了新地址
id(Y)
Y+=X # 此操作原址更新
id(Y)
Z=torch.zeros_like(Y)
id(Z)
Z[:]=X+Y # 切片是原址更新的
id(Z)
1.6 张量与其他python对象转换
Numpy的ndarray与pytroch的tensor可以容易的转换
import torch # 在python控制台执行
X=torch.tensor([1])
A = X.numpy()
B = torch.tensor(A)
type(A), type(B)
大小为1的tensor张量可以容易的以item函数或py内置函数转换成py的标量
a = torch.tensor([3.5])
a, a.item(), float(a), int(a) # item将torch的单个张量转换成python scalar(标量)值
# Out[3]: (tensor([3.5000]), 3.5, 3.5, 3)