动手学深度学习——线性代数

标量

简单操作
$$\begin{gathered} c=a+b \\ c=a\cdot b \\ c=sina \end{gathered}$$
长度
$$\begin{gathered} |a|=\{\begin{array}{r}aifa>0\\ -aotherwise\end{array} \\ |a+b|\le |a|+|b| \\ |a\cdot b|=|a|\cdot |b| \end{gathered}$$

向量

简单操作
$$\begin{gathered} c=a+bwhere{c}_i=a_i+b_i \\ c=\alpha \cdot bwhere{c}_i=\alpha b_i \\ c=sinawhere{c}_i=\sin a_i \end{gathered}$$
长度
$$\begin{gathered} ||a||=[\sum _{i=1}^m{a}_i^2{]}^{\frac{1}{2}} \\ ||a||\ge 0foralla \\ ||a+b||\le ||a||+||b|| \\ ||a\cdot b||=|a|\cdot ||b|| \end{gathered}$$
点乘
$a^{T}b={\sum }_i{a}_i{b}_i$
正交
$a^{T}b={\sum }_i{a}_i{b}_i=0$

矩阵

简单操作
$$\begin{gathered} C=A+Bwhere{C}_{ij}=A_{ij}+B_{ij} \\ C=\alpha \cdot Bwhere{C}_{ij}=\alpha B_{ij} \\ C=sinAwhere{C}_{ij}=\sin A_{ij} \end{gathered}$$
乘法(矩阵乘以向量)
$c=Abwhere{c}_i={\sum }_j{A}_{ij}{b}_j$
乘法(矩阵乘以矩阵)
$C=ABwhere{C}_{ik}={\sum }_j{A}_{ij}{B}_{jk}$
范数
$$c=A\cdot bhence||c||\le ||A||\cdot ||b||$$
取决于如何衡量b和c的长度
常见范数：
1.矩阵范数：最小的满足的上面公式的值
2.Frobenius范数
$$||A|{|}_{Frob}=[\sum _{ij}{A}_{ij}^2{]}^{\frac{1}{2}}$$

特殊矩阵

对称和反对称 $A_{ij}=A_{ji}and{A}_{ij}=-A_{ji}$
正定
$$||x|{|}^2=x^{T}x\ge 0generalizesto{x}^{T}Ax\ge 0$$
正交矩阵
1.所有行都相互正交
2.所有行都有单位长度$Uwith{\sum }_j{U}_{ij}{U}_{kj}={\delta }_{ik}$
3.可以写成$U{U}^T=1$
置换矩阵
$$Pwhere{P}_{ij}=1ifandonlyifj=\pi (i)$$
置换矩阵是正交矩阵

• 特征向量和特征值
• 不被矩阵改变方向的向量
• 对称矩阵总是可以找到特征向量

代码

标量由只有一个元素的张量表示

import torch 
x = torch.tensor([3.0])
y = torch.tensor([2.0])

x + y,x * y, x / y, x**y 

可以将向量视为标量组成的列表

x = torch.arrange(4)
x

通过张量的索引来访问任一元素

x[3]

访问张量的长度

len(x)

只有一个轴的张量，形状只有一个元素

x.shape

通过制定两个分量m和n来创建一个形状$m\times n$的矩阵

A = torch.arange(20).reshape(5,4)

矩阵的转置

A.T

对称矩阵A等于其转置：$A=A^T$

B = torch.tensor([[1,2,3],[2,0,4],[3,4,5]])
B == B.T

就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构

x = torch.arange(24).reshape(2,3,4)
x

给定任何相同形状的任何两个张量，任何按元素二元运算的结果都将是相同形状的张量

A = torch.arange(20,dtype=torch.float32).reshape(5,4)
B = A.clone()
A, A + B

两个矩阵的按元素乘法成为哈达玛积

A*B

表示任何形状张量的元素和

A.sum()

指定求和汇总张量的轴

A_sum_axis0 = A.sum(axis=0)
A_sum_axis1 = A.sum(axis=1)
A_sum_axis2 = A.sum(axis =[0,1])

求均值

A.mean(), A.sum()/A.numel()
A.mean(axis=0),A.sum(axis=0)/A.shape[0]

计算总和或均值时保持轴数不变

sum_A =A.sum(axis=1,keedims=True)

通过广播将A处以sum_A

A/sum_A

某个轴计算A元素的累积总和

A.cumsum(axis=0)

点积是相同位置的按元素乘积的和

x = torch.tensor([0,1,2,3])
y = torch.ones(4,dtype= torch.float32)
torch.dot(x,y)

我们可以通过执行按元素乘法，然后进行求和来表示两个向量的点积

torch.sum(x*y)

矩阵向量积$Ax$是一个长度为m的列向量，其$i^{th}$元素是点积$a_i^{T}x$

torch.mv(A,x)

我们可以将矩阵-矩阵乘法AB看做是简单的执行m次矩阵-向量积，并将结果拼接在一起，形成一个$n\times m矩阵$

torch.mm(A,B)

L2范数是向量元素平方和的平方根

torch.norm(u)

L1范数表示向量元素的绝对值之和

torch.abs(u).sum()

矩阵的佛罗贝尼乌斯范数(Frobenius norm)是矩阵元素的平方和的平方根

torch.norm(torch.ones((4,9)))