《机器学习线性代数基础：Python语言描述》读书笔记----矩阵与空间映射

矩阵其实描述了空间中的映射

矩阵与空间映射

由于矩阵乘法的作用，原始向量的空间位置甚至其所在空间的维度和形状都发生了改变，这便是矩阵乘法的空间映射作用。
$$Ax=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}\right]=x_1\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{m1}\end{array}\right]+\cdots +x_n\left[\begin{array}{c}{a}_{1n}\\ a_{2n}\\ ⋮\\ a_{mn}\end{array}\right]$$

降维与升维

根据向量所乘矩阵的尺寸大小，向量可能会被映射到与原来相比低的维度空间中，或着被映射到更高维的空间中。

降维

当式1中，当m<n时，矩阵A的行数小于列数。可以发现投影后，x被转换到了一个维数更低的新空间的新位置中。

换言之，在这种情况下矩阵A压缩了原始空间$R^n$。

但新的空间的维数并不一定就是$R^m$，这个在后面会统一说明。

升维

当式1中，当m>n时，矩阵A的行数小于列数。可以发现投影后，x被转换到了一个维数更”高“的新空间的新位置中。

从结果上看，x经矩阵A映射后维数提高了，但并没有由原始向量x所构成的空间$R^n$变成了维数更高的空间。更具A的情况，甚至到了一个更低维度的空间。

秩

定义：一个矩阵的秩是其非零子式的最高阶数，一个向量组的秩则是其最大无关组所含的向量个数。

决定经过矩阵乘法后的新空间的就是算法A的秩，因为秩决定了算法A可以描述的空间大小。