一、预备知识

pytorch

import torch
x = torch.arange(12)
x.shape
x.numel() #张量中元素总数
x.reshape(3,4)

torch.zeros((2,3,4))
torch.ones((2,3,4))
torch.randn(3,4) #每个元素从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样

torch.cat((X,Y),dim=0) #按行连结两个矩阵
torch.cat((X,Y),dim=1) #按列连结两个矩阵

#如果后续计算没有重复使用X，使用下列操作之一可以减少内存的开销
X[:] = X + Y
X += Y 

#转换为其他python对象
A = X.numpy()
B = torch.tensor(A)
a = torch.tensor([1])
a.item()
float(a)
int(a)

数据预处理

import pandas as pd
data.fillna(data.mean()) #以均值来填充缺失值
data = pd.get_dummies(data, dummy_na=True) #将类别值或离散值的列转换为多列

#转换为张量形式

线性代数

B = A.clone() # 通过分配新内存，将A的⼀个副本分配给B
A.sum(axis=0) #按列求和
A.sum(axis=1) #按行求和
A.mean(axis=0), A.sum(axis=0) / A.shape[0]
A.sum(axis=1, keepdims=True) #非降维求和
A.cumsum(axis=0)
torch.dot(x,y) #点积
torch.mv(A, x) #矩阵-向量积
torch.mm(A, B) #矩阵-矩阵乘法

范数

向量范数是将向量映射到标量的函数$f$。对于任意向量，其范数满足以下性质：

• 如果我们按常数因子$\alpha$缩放向量的所有元素，其范数会按相同常数因子的绝对值缩放:
  $$f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$$
• 三角不等式
  $$f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y})$$
• 非负性
  $$f(\mathbf{x})\ge 0$$
• 范数为0当且仅当向量全由0组成
  $$\forall i,[\mathbf{x}{]}_i=0\iff f(\mathbf{x})=0$$

$L_1$范数
$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|$$

torch.abs(x).sum()

$L_2$范数
$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

torch.norm(x)

$L_p$范数
$$\Vert \mathbf{x}{\Vert }_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}$$
矩阵$\mathbf{X}\in {\mathbb{R}}^{m\times n}$的$Frobenius$范数是矩阵元素平方和的平方根
$$\Vert \mathbf{X}{\Vert }_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}$$

梯度

假设$x$是$n$维向量，在微分多元函数时经常使用以下规则：

• 对于所有$A\in {\mathbb{R}}^{m\times n}$，都有${\nabla }_{x}Ax=A^T$
• 对于所有$A\in {\mathbb{R}}^{n\times m}$，都有${\nabla }_x{x}^{T}A=A$
• 对于所有$A\in {\mathbb{R}}^{n\times m}$，都有${\nabla }_x{x}^{T}Ax=(A+A^T)x$
• ${\nabla }_x\Vert x{\Vert }^2={\nabla }_x{x}^{T}x=2x$
  同样，对于矩阵$X$，有${\nabla }_x\Vert X{\Vert }_F^2=2X$。