《深度学习》 第2章 线性代数

《深度学习》 第2章 线性代数

标量、向量、矩阵和张量

矩阵和向量相乘

单位矩阵和逆矩阵

线性相关和生成子空间

范数

衡量向量的大小用范数，$L^P$范数定义如下：
$$||x|{|}_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}}$$
其中$p\in \mathbb{R},p\ge 1$

Frobenius范数：
$$||A|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

特殊类型的矩阵和向量

特征分解

$$Av=\lambda v$$
$$A=Vdiag(\lambda )V^{-1}$$

奇异值分解

$$A=UD{V}^T$$

Moore-Penrose伪逆

$$A^{+}=V{D}^{+}{U}^T$$
伪逆得到的$x$使得$||x|{|}_2$或$||Ax-y|{|}_2$最小

迹运算

$$Tr(A)=\sum _i{A}_{i,i}$$
$$||A|{|}_F=\sqrt{Tr(A{A}^T)}$$
$$Tr(ABC)=Tr(CAB)=Tr(BCA)$$

行列式

$det(A)$可以衡量矩阵参与矩阵乘法后空间变化多少

实例：主成分分析

奇异值分解正是对线性变换这三种效应的一个析构。
$A=\mu \Sigma {\sigma }^T$ ，$\mu$和$\sigma$是两组正交单位向量，$\Sigma$是对角阵，表示奇异值，它表示我们找到了$\mu$和$\sigma$这样两组基，$A$矩阵的作用是将一个向量从$\sigma$这组正交基向量的空间旋转到$\mu$这组正交基向量空间，并对每个方向进行了一定的缩放，缩放因子就是各个奇异值。如果$\sigma$维度比$\mu$大，则表示还进行了投影。可以说奇异值分解将一个矩阵原本混合在一起的三种作用效果，分解出来了。

而特征值分解其实是对旋转缩放两种效应的归并。（有投影效应的矩阵不是方阵，没有特征值）特征值，特征向量由$Ax=\lambda x$得到，它表示如果一个向量$v$处于$A$的特征向量方向，那么$Av$对$v$的线性变换作用只是一个缩放。也就是说，求特征向量和特征值的过程，我们找到了这样一组基，在这组基下，矩阵的作用效果仅仅是存粹的缩放。对于实对称矩阵，特征向量正交，我们可以将特征向量式子写成$A=x\lambda x^T$，这样就和奇异值分解类似了，就是$A$矩阵将一个向量从$x$这组基的空间旋转到$x$这组基的空间，并在每个方向进行了缩放，由于前后都是$x$，就是没有旋转或者理解为旋转了0度。

矩阵的奇异值与特征值有什么相似之处与区别之处？ - 赵文和的回答 - 知乎