一文快速回顾_机器学习线性代数基础

1. 标量：只有大小没有方向的物理量

2. 向量：又称矢量，既包含大小又包含方向的物理量

3. 矩阵：矩阵是一个二维数组，其中的每一个元素一般由两个索引来确定，一般用大写变量表示。

4. 张量：矢量概念的推广，可以用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数。【标量是0阶张量，矢量是1阶张量，矩阵是2阶张量】

5. 矩阵的秩：矩阵列向量中的极大线性无关组的数目，记作列秩。行秩=列秩=矩阵的秩，通常记作rank(A)。

6. 矩阵的逆：若A为方阵，当rank(A)<n时，称A为奇异矩阵或不可逆矩阵。若rank(A)=n时，A为非奇异矩阵或可逆矩阵。

• 如果矩阵不为方阵或者是奇异矩阵，不存在逆矩阵，但是可以计算其广义逆矩阵或者伪逆矩阵。
  对应于矩阵A，若存在矩阵B使得ABA=A，则称B为A的广义逆矩阵。

7. 机器学习中常见的矩阵分解：特征分解和奇异值分解

• 矩阵的特征值和特征向量：若矩阵A为方阵，则存在非零向量$x$和常数$\lambda$满足$Ax=\lambda x$，则称$\lambda$为A的一个特征值，$x$为矩阵A关于$\lambda$的特征向量。
  矩阵的迹和行列式的值：$tr(A)={\sum }_{{i=1}^n}{\lambda }_i$，$\left|A\right|={\prod }_{i=1}^n{\lambda }_i$

• 矩阵的特征分解：若矩阵$A_{n\times n}$存在n个不同的特征值，那么矩阵可以分解为$A=U\sum U^T$
  $$\sum =\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ 0& 0& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]U=\left[\begin{array}{c}{u}_1,u_2,\cdots ,u_n\end{array}\right]$$
  其中$u_i$是标准化的特征向量，即满足${\Vert u_i\Vert }_2=1$

• 奇异值分解：对于任意矩阵$A_{m\times n}$，存在正交矩阵$U_{m\times m}$,$V_{n\times n}$，使得其满足$A=U\sum V^T$,$U^{T}U=V^{T}V=I$.则称上式为矩阵A的特征分解，其中$\sum$为$m\times n$的矩阵。

  • 求解过程
    1.$A^{T}A$的特征值的{${\lambda }_i$}和特征向量{$v_i$}
    2.$A{A}^T$的特征向量{$u_i$}
    3.$U=\left[\begin{array}{c}{u}_1,\cdots ,u_m\end{array}\right]$,$V=\left[\begin{array}{c}{v}_1,\cdots ,v_n\end{array}\right]$,$\sum =diag({\sqrt{\lambda }}_i)$