机器学习中的数学——特征向量、矩阵对角化

1. 线性代数
   向量,向量空间;矩阵, 线性变换;
   特征值, 特征向量;奇异值, 奇异值分解
2. 概率论与统计
   随机事件;条件概率, 全概率,贝叶斯概率;
   统计量, 常见分布; 基本原理
3. 最优化理论
   极限, 导数;线性逼近, 泰勒展开;
   凸函数, jensen不等式;最小二乘法; 梯度, 梯度下降

矩阵和线性变换

方阵能描述任意线性变换, 线性变换保留了直线和平行线, 但原点没用移动.
$$v\text{v}v=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}x\\ 0\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ y\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ z\end{array}\right]$$
$$v\text{v}v=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=x\times \left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]+y\times \left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]+z\times \left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$
向量的每一个坐标都表明了平行于相应坐标轴的有向位移.
如果把矩阵的行解释为坐标系的基向量，那么乘以该矩阵就相当于执行了一次坐标转换，如果$aM=b$，我们就可以说，$M将a$转换到$b$。
从这点看，术语“转换”和“乘法”是等价的。
坦率地说，矩阵并不神秘，它只是用一种紧凑的方式来表达坐标转换所需的数学运算。进一步，用线性代数操作矩阵，是一种进行简单转换或导出更复杂转换的简便方法.
我们可以不依赖于坐标系而沿任意方向进行缩放，设$\vec{n}$为平行于缩放方向的单位向量，k为缩放因子,缩放沿穿过原点并平行于$\vec{n}$的直线（2D中）或平面（3D中）进行。

$\vec{v}={\vec{v}}_{||}+{\vec{v}}_{\perp }$
${\vec{v}}_{||}=(\vec{v}\cdot \vec{n})\vec{n}$
${\vec{v}}_{\perp }=\vec{v}-{\vec{v}}_{||}=\vec{v}-(\vec{v}\cdot \vec{n})\vec{n}$

${\vec{v}}^{{}^{\prime }}={\vec{v}}_{||}^{{}^{\prime }}+{\vec{v}}_{\perp }^{{}^{\prime }}$
${\vec{v}}_{\perp }^{{}^{\prime }}={\vec{v}}_{\perp }=\vec{v}-(\vec{v}\cdot \vec{n})\vec{n}$
${\vec{v}}_{||}^{{}^{\prime }}=k\cdot {\vec{v}}_{||}=k\cdot (\vec{v}\cdot \vec{n})\vec{n}$
${\vec{v}}^{{}^{\prime }}={\vec{v}}_{\perp }=\vec{v}-(\vec{v}\cdot \vec{n})\vec{n}+k\cdot (\vec{v}\cdot \vec{n})\vec{n}=\vec{v}+(k-1)(\vec{n}\cdot \vec{v})\vec{n}$
（待补充）

特征值与特征向量

定义:$A $n阶方阵,对于$\lambda$,存在非零向量$\vec v$,使得$\pmb A\vec v=\lambda\vec v$,则:$\lambda$就叫特征值, $\vec{v}$就叫对应$\lambda$的特征向量
特征值可以为0, 特征向量不能为0
$A\text{A}A\vec{x}=\lambda \vec{x}x\ne 0$
↓
$(A\text{A}A-\lambda E\text{E}E)\vec{x}=0$
↓
$|A\text{A}A-\lambda E\text{E}E|=0$
其中$\lambda$和$x$为我们需要求得值

• $A\text{A}Ax$代表向量的线性变换,$\lambda x$代表向量拉伸变换
• 特征向量的含义就在于使得哪些向量只发生拉伸变换
• 而特征值用于衡量相应的拉伸系数
• 特征值就是运动的速度, 特征向量就是运动的方向

注:只有方阵才能计算特征值和特征向量

---

例:
$$A\text{A}A=\left[\begin{array}{cc}4& 0\\ 3& -5\end{array}\right]$$
求特征值:
$|A\text{A}A-\lambda E\text{E}E|$
$
=\begin{bmatrix}
4-\lambda&0\
3&-5-\lambda
\end{bmatrix}
$
$=(4-\lambda )(-5-\lambda )=0$
得:${\lambda }_1=-5,{\lambda }_2=4$
针对特征值${\lambda }_1=-5$, 计算特征向量 ${X\text{X}X}_1$
$\left[\begin{array}{cc}9& 0\\ 3& 0\end{array}\right]\cdot \vec{x}=0{X\text{X}X}_1=\left[\begin{array}{c}0\\ 1\end{array}\right]$
针对特征值${\lambda }_2=4$, 计算特征向量${X\text{X}X}_2$
$\left[\begin{array}{cc}0& 0\\ 3& -9\end{array}\right]\cdot \vec{x}=0{X\text{X}X}_2=\left[\begin{array}{c}3\\ 1\end{array}\right]$

例:
$$A\text{A}A=\left[\begin{array}{cc}4& -2\\ 3& -1\end{array}\right]$$
求特征值:
$|A\text{A}A-\lambda \vec{x}|=\left[\begin{array}{cc}4-\lambda & -2\\ 3& -1-\lambda \end{array}\right]=(4-\lambda )(-1-\lambda )+6=0$
得:${\lambda }_1=1,{\lambda }_2=2$
针对特征值${\lambda }_1=1$, 计算特征向量${X\text{X}X}_1$
$\left[\begin{array}{cc}3& -2\\ 3& -2\end{array}\right]\cdot \vec{x}=0{X\text{X}X}_1=\left[\begin{array}{c}2\\ 3\end{array}\right]$
针对特征值${\lambda }_2=2$, 计算特征向量${X\text{X}X}_2$
$\left[\begin{array}{cc}2& -2\\ 3& -3\end{array}\right]\cdot \vec{x}=0{X\text{X}X}_2=\left[\begin{array}{c}1\\ 1\end{array}\right]$
另一种计算方式,首先将$\vec{x}$表示成特征向量$\left[\begin{array}{c}1\\ 1\end{array}\right]$和$\left[\begin{array}{c}2\\ 3\end{array}\right]$的线性组合,即:
$$\vec{x}=\left[\begin{array}{c}1\\ 2\end{array}\right]=-1\cdot \left[\begin{array}{c}1\\ 1\end{array}\right]+1\cdot \left[\begin{array}{c}2\\ 3\end{array}\right]$$
然后,将特征值与对应系数(特征值)相乘, 得到:
$$\vec{y}=-1\cdot 2\cdot \left[\begin{array}{c}1\\ 1\end{array}\right]+1\cdot 1\cdot \left[\begin{array}{c}2\\ 3\end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right]$$
这与$\vec{y}=A\text{A}A\vec{x}=\left[\begin{array}{c}0\\ 1\end{array}\right]$相同,表示$A\text{A}A$对向量$\vec{x}$的线性变换相当于$A\text{A}A$的特征值和特征向量与$\vec{x}$的线性组合, 可以说在线性变换时, 矩阵的特征值和特征向量可以代表矩阵.
矩阵所充当的映射, 实际上就是对特征向量的缩放, 每个特征向量的缩放程度就是特征值.
将$\vec{x}$向量表示特征向量的线性组合(相当于以特征向量为基),得到相应的特征向量的权重.然后,每个权重与特征值相乘, 就是这个映射最本质的缩放操作.

---

特征值求法

奇异方阵

相似矩阵

定义:若$A\text{A}A$与$B\text{B}B$均为n阶方阵, 若存在一个可逆矩阵$P\text{P}P$, 使${P\text{P}P}^{-1}\cdot A\cdot P\text{P}P=B$, 则称$A\text{A}A$与$B\text{B}B$相似

对角化

---

定义及证明
定义:假设一个$n\times n$阶的方阵$A\text{A}A$,有 $n$个线性无关的特征向量$v_1,v_2,\cdots ,v_n$, 所有的特征向量组成特征向量矩阵$S\text{S}S$, 则有${S\text{S}S}^{-1}A\text{A}AS\text{S}S=\Lambda$, 其中$\Lambda$为由$S\text{S}S$对应的特征值组成的对角矩阵, 即:
$${S\text{S}S}^{-1}A\text{A}AS\text{S}S=\Lambda =\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]$$
证明:
$A\text{A}AS\text{S}S=A\text{A}A\left[\begin{array}{ccccc}{v}_1& v_2& v_3& \cdots & v_n\end{array}\right]=\left[\begin{array}{ccccc}{\lambda }_1{v}_1& {\lambda }_2{v}_2& {\lambda }_3{v}_3& \cdots & {\lambda }_n{v}_n\end{array}\right]=S\text{S}S\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]=S\text{S}S\Lambda \text{Λ}\Lambda$

${S\text{S}S}^{-1}A\text{A}AS\text{S}S={S\text{S}S}^{-1}S\text{S}S\Lambda \text{Λ}\Lambda =\Lambda \text{Λ}\Lambda$

$A\text{A}A=S\text{S}S\Lambda \text{Λ}\Lambda {S\text{S}S}^{-1}$(矩阵对角化)

---

例:
$$A\text{A}A=\left[\begin{array}{cc}-3& 2\\ -10& 6\end{array}\right]$$
对角化$A\text{A}A$.

解:
$A\text{A}A-\lambda E\text{E}E=\left[\begin{array}{cc}-3-\lambda & 2\\ -10& 6-\lambda \end{array}\right]$

$(-3-\lambda )(6-\lambda )+20=0$

${\lambda }_1=1,{\lambda }_2=2$

对应${\lambda }_1$的特征向量$v_1$:

$\left[\begin{array}{cc}-4& 2\\ -10& 5\end{array}\right]\cdot v_1=0,v_1=\left[\begin{array}{c}1\\ 2\end{array}\right]$

对应${\lambda }_2$的特征向量$v_2$:

$\left[\begin{array}{cc}-5& 2\\ -10& 4\end{array}\right]\cdot v_2=0,v_2=\left[\begin{array}{c}2\\ 5\end{array}\right]$

$P\text{P}P=\left[\begin{array}{cc}{\vec{v}}_1& {\vec{v}}_2\end{array}\right]=\left[\begin{array}{cc}1& 2\\ 2& 5\end{array}\right]$

${P\text{P}P}^{-1}=\left[\begin{array}{cc}5& -2\\ -3& 1\end{array}\right]$(二阶时, 主对角线对换, 负对角线变号/det( P ))

---