《深度学习》数学基础先备知识：第二章 线性代数

1. 基本概念：

标量、向量（后续如若无特别说明，常指代列向量）、矩阵、张量（多维）、单位矩阵、逆矩阵

2. 基本操作：

转置、矩阵乘积、元素对应乘积（Hadamard乘积）

3. 较新且难的知识点：

（1）线性相关和生成子空间：

对一个矩阵A,与向量x相乘，如下面的公式所示（这就代表着线性组合）

公式中指出，乘积是A中的各个列向量和对应的x相乘，所以我们可以把A的各个列向量拿出来。类似于坐标系中的坐标轴向量，我们把A的每一个列向量看作一个不同维度，或者说一个方向，此时当我们乘上x之后，这一方向的大小便有了变化。而所有的维度合在一起，加上不同的线性乘积，我们就得到了一个空间。

一组向量的生成子空间是原始列向量线性组合后所能抵达的点的集合。

线性相关：即A中有一些列向量的所指代的方向是一样的，存在列向量的冗余。

线性无关同理，即所有列向量指代的方向都不同。

（2）范数（norm）：

范数定义如下：

对于向量：

范数的作用：将向量映射到非负值。常用的范数为欧几里得范数，即L2范数。

用L1范数表示零与非零元素之间的差异，或者用于表示非零元素数目的替代函数。

范数（也称最大范数）用于表示向量当中具有最大幅值的元素的绝对值。

对于矩阵：

常使用Frobenius范数，用于衡量矩阵的大小：

 （3）特殊矩阵和向量：

对角矩阵、对称矩阵，单位向量（具有单位范数）

正交：

标准正交：x，y的范数为1，为单位向量

正交矩阵：一个行向量和列向量分别标准正交的方阵

（4）特征分解：（A为方阵）

v为特征向量，为特征值。

 

V为特征向量形成的矩阵，diag()代表形成的对角矩阵。

 

Q为特征向量组成的正交矩阵，表示对角矩阵，对角元为特征值。

之前说到A代表的空间和各列向量代表的维度，下图比较形象地描述了出来，我的理解是：

相乘的根本几何意义在于让x来定义A空间的各维度方向的大小，不同的x便会引起A空间整体的扩张或收缩。同理在本表达式当中，便可以是Q中的列向量（即特征向量）方向的大小延展倍。

 正定：特征值全为正。

半正定：特征值全为非负。

（5）奇异值分解：

 

其中和都是正交矩阵，D为对角矩阵。

则D的对角元为矩阵A的奇异值，U，V的列向量分别成为左，右奇异向量。

（6）Moore-Penrose伪逆： 

U、D、V均为奇异值分解的表达式当中的矩阵。

+号：矩阵中非零元素取倒数之后转置。

当列数多于行数（多个解）代表可行解当中欧几里得范数最小的解。

当行数多于列数（可能无解）​​​，通过伪逆求得的x使得最小

（7）迹运算：

即矩阵对角元素之和。

 

而迹运算可以用另一种方式描述矩阵Frobenius范数：

（因为A和A转置相乘之后，对应每一行各元的平方之和便放在了这一行的对角位置上）

相关性质：

 

（7）行列式：

理解一下：行列式的值等于矩阵特征值的乘积。

几何意义：行列式可以描述一个矩阵经过乘法之后是否发生了空间变化，如果行列式为0，则代表空间至少沿着一个维度完全收缩；如果行列式为1，则代表空间没有发生变化。（参考上述（4）中对图像的分析）

3. 应用实例：主成分分析（待续）