机器学习---数学基础（三、线性代数）

一、线性空间与线性变换

• 旋转变化：
  

1.1 可交换性 和 结合律

• $AB\ne BA$
• 对角矩阵可以交换
• 结合律： $A_{i\times j}(B_{j\times k}{C}_{k\times s})=(A_{i\times j}{B}_{j\times k})C_{k\times s}$

1.2 线性空间

存 在 集 合 V = { v i ∣ i 是 指 数 集 } ， 配 数 域 k 存在集合 V = \{ v_i | i 是指数集 \}，配数域 k 存在集合V={vi​∣i是指数集}，配数域k
$任意，\alpha ,\beta ,\theta \in V，满足以下8条定律：$

1. $\vec{\alpha }+\vec{\beta }=\vec{\beta }+\vec{\alpha }$
2. $(\vec{\alpha }+\vec{\beta })+\vec{\theta }=\vec{\alpha }+(\vec{\beta }+\vec{\theta })$
3. $存在（零元）\vec{0}\in V,\vec{\alpha }+\vec{0}=\vec{\alpha }$
4. 逆元存在性：$任意\vec{\alpha }，存在\vec{\beta }，使得\vec{\alpha }+\vec{\beta }=\vec{0}$
5. 数乘单位元： $1\in k1\ast \vec{\alpha }=\vec{\alpha }$
6. 数乘结合律：$m,n\in km(n\vec{\alpha })=n(m\vec{\alpha })$
7. 数乘分配率：$m\in km(\vec{\alpha }+\vec{\beta })=m\vec{\alpha }+m\vec{\beta }$
8. $m,n\in k(m+n)\vec{\alpha }=m\vec{\alpha }+n\vec{\alpha }$

1.3 傅里叶变换

1.3.1 连续傅里叶变换

• 傅里叶变换
  $$g(k)={\int }_{-\infty }^{+\infty }f(x)e^{-ikx}dx$$

  • 求 $f^{{}^{\prime }}(x)$的傅里叶变换：
    $$\begin{gathered} F.T(f^{{}^{\prime }}(x))={\int }_{-\infty }^{+\infty }{f}^{{}^{\prime }}(x)e^{-ikx}dx={\int }_{-\infty }^{+\infty }{e}^{-ikx}df(x) \\ =f(x)e^{-ikx}{|}_{-\infty }^{+\infty }-(-ik){\int }_{-\infty }^{+\infty }f(x)e^{-ikx}dx \\ =0-(-ik){\int }_{-\infty }^{+\infty }f(x)e^{-ikx}dx \\ =(ik)F.T(f(x)) \end{gathered}$$
  • 求 $f^{{}^{\prime \prime }}(x)$的傅里叶变换：
    计算过程同上；
    $F.T(f^{{}^{\prime \prime }}(x))=(ik{)}^{2}F.T(f(x))$

• 傅里叶逆变换
  $$f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }g(k)e^{ikx}dk$$

1.3.2 离散傅里叶变换

• 离散傅里叶变换的时间复杂度：$O(n^2)$
• 快速傅里叶变换的时间复杂度：$O(n\ln n)$

1.4 线性相关和线性无关

1.4.1 线性相关

• 有冗余的内容信息
• 线性相关定义：
  n 个向量 $\overrightarrow{v_1},\overrightarrow{v_2},...,\overrightarrow{v_n}\in V$
  存在$a_1,a_2,...,a_n$不全为 0
  若存在，$a_1\overrightarrow{v_1}+a_2\overrightarrow{v_2}+...+a_n\overrightarrow{v_n}=\vec{0}$
  则， { v 1 ⃗ , v 2 ⃗ , . . . , v n ⃗ } 线 性 相 关 。 \{ \vec{v_1},\vec{v_2},...,\vec{v_n} \} 线性相关。 {v1​ ​,v2​ ​,...,vn​ ​}线性相关。

---

• 线性无关的定义则与线性相关相反。
  不存在$a_1,a_2,...,a_n$不全为 0；
  使$a_1\overrightarrow{v_1}+a_2\overrightarrow{v_2}+...+a_n\overrightarrow{v_n}=\vec{0}$
  则， { v 1 ⃗ , v 2 ⃗ , . . . , v n ⃗ } 线 性 无 关 。 \{ \vec{v_1},\vec{v_2},...,\vec{v_n} \} 线性无关。 {v1​ ​,v2​ ​,...,vn​ ​}线性无关。

• 最大线性无关组

1.5 秩

• 矩阵按行/ 列切成的向量组成的"极大线性无关组的个数" 相同。

• $秩="极大线性无关组的个数"$

• 决定是否可逆

1.6 线性变换

• 初等变换

  • k 列乘以 a 倍
  • k 列的 a 倍 加到 s 列上
  • k 列与 s 列对调

• 定义：
  从一个线性空间变换到另一个线性空间。
  $$L(a\vec{\alpha }+b\vec{\beta })=aL(\vec{\alpha })+bL(\vec{\beta })$$

• 变换的方式

  1. 向量不变，基底变换
     $\vec{r}=a_1\overrightarrow{e_1}+a_2\overrightarrow{e_2}=a_1^{{}^{\prime }}{\overrightarrow{e_1}}^{{}^{\prime }}+a_2^{{}^{\prime }}{\overrightarrow{e_2}}^{{}^{\prime }}$
  2. 向量变换，基底不变
     $\vec{r}=a_1\overrightarrow{e_1}+a_2\overrightarrow{e_2}$
     $\vec{r}=a_1^{{}^{\prime \prime }}\overrightarrow{e_1}+a_2^{{}^{\prime \prime }}\overrightarrow{e_2}$

• 由于任何一个向量都可以用一组基向量进行表示，所以根据基向量的变化就可以得到任一向量的表示。

二、矩阵、等价类和行列式

2.1 可逆矩阵表示坐标变换

• 任意向量的坐标变换都可以由$M_{n\times n}$表示

2.2 相似矩阵

• 定义：
  相似矩阵是指具有相似关系的矩阵。假设 $M,N为n阶矩阵。如果有n阶可逆矩阵P存在，满足以下条件$
  $$A=P^{-1}BP$$
  $则称矩阵A与B相似，记为A\sim B。$

• 实例介绍
  
  

• 相似矩阵表示相同的线性变换

2.3 线性代数解微分方程

全体 $f(x)$ 构成线性空间 $\vec{V}$，存在大量的线性映射。

• 求导是线性的。

• 例如：求解下面的公式：
  

  • 上式不好求解，可以尝试替换基底的方法。
    

2.4 转秩 和 求逆

2.4.1 转秩

• $(AB{)}^T=B^T{A}^T$

2.4.2 求逆

• $M^{-1}M=I=M{M}^{-1}n$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$

2.5 等价类

• 等价关系
  $A\sim B;B\sim C,\to A\sim C$
  二元关系， 区分前后（有序对）

  • 1）反身性：$A\sim A$
  • 2）互反性：$A\sim B;B\sim A$
  • 3）传递性：$A\sim B;B\sim C,\to A\sim C$

• 矩阵证明 $A\sim B;B\sim C,\to A\sim C$：

  • $A\sim B\to A=M^{-1}BM$
  • $B\sim C\to B=N^{-1}CN$
  • $$\begin{gathered} A=M^{-1}{N}^{-1}CNM \\ =(NM{)}^{-1}C(NM)\to A\sim C \end{gathered}$$

• 等价类
  若集合$O$ 存在等价关系，
  则集合$O$，可分割成不相关的子集$O_1\cup O_2\cup O_3...$
  ==> 且$O_i$ 的所有元素都等价；
  任意一个 $a,b\in O_i;a\sim b$

2.6 行列式 $det(A)$

• 定义：

  • $det(M)$可以表示线性变换之后的体积元之比。【非常规定义】
    

• $det(AB)=det(A)det(B)$

三、特征值与特征向量

3.1 特征值与特征向量

• 定义：
  

• 物理意义：
  被线性变换之后，方向不变的矢量是特征矢量。
  特征向量构成用于描述线性变换的基底，可将线性变换对角化。

• 特征值和特征向量的性质：

  • 相同的特征值构成的特征向量，可以构成一个子空间
  • 不同特征值的特征向量详细无关。

• 相似矩阵具有相同的特征值

  • 举例证明：
  • $M=K^{-1}NK;M,N代表相同的线性变换$
    $M\vec{\alpha }={\lambda }_i\vec{\alpha }N\vec{\beta }={\lambda }_i\vec{\beta }$
    $$\begin{gathered} M\vec{\alpha }={\lambda }_i\vec{\alpha } \\ {K}^{-1}NK\vec{\alpha }={\lambda }_i\vec{\alpha } \\ NK\vec{\alpha }={\lambda }_{i}K\vec{\alpha } \\ \to \vec{\beta }=K\vec{\alpha } \\ N\vec{\beta }={\lambda }_i\vec{\beta } \end{gathered}$$
    所以特征值相同。

3.2 特征值的计算

$$\begin{gathered} M\vec{\alpha }={\lambda }_i\vec{\alpha } \\ (M-{\lambda }_{i}I)\vec{\alpha }=0 \\ \to det(M-{\lambda }_{i}I)=0 \end{gathered}$$

---

• 1）证明：若$M\sim N;则det(M-\lambda I)=det(N-\lambda I)$
  $$\begin{gathered} det(N-\lambda I)=det(C^{-1}MC-\lambda I) \\ =det(C^{-1}MC-C^{-1}\lambda IC) \\ =det(C^{-1})det(M-\lambda I)det(C) \end{gathered}$$
  • 因为 $det(C^{-1})det(C)=1$
  • 所以$det(C^{-1})det(M-\lambda I)det(C)=det(M-\lambda I)$

---

• 2）求证 $det(M)={\lambda }_1{\lambda }_2{\lambda }_3...$
  根据上述证明已知$det(M-\lambda I)=det(N-\lambda I)$
  • 假设$N$ 为 $\lambda$ 对角矩阵
  • 所以$det(M-\lambda I)=det(N-\lambda I)=({\lambda }_1-\lambda )({\lambda }_2-\lambda )({\lambda }_3-\lambda )...({\lambda }_n-\lambda )$
  • 令 $\lambda =0$
  • 所以$det(M)={\lambda }_1{\lambda }_2{\lambda }_3...$

---

3.3 线性代数核心定理

五个互为充分必要条件的核心定理：

1. $M可逆（存在M^{-1}）$
2. $det(M)\ne 0$
3. $r(M)=n;M满秩$
4. 任何${\lambda }_i\ne 0;0可以作为特征值，不能作为特征向量。$
5. $ker(M)=0;M的核$
   1. $M\vec{V}=\vec{0};\vec{V}\in ker(M)$

3.4 欧式空间与闵氏空间

• 欧式空间
  • $n维线性空间+点积=欧式空间$
  • $(\overrightarrow{v_1},\overrightarrow{v_2})=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$
• 闵氏空间
  • $$\begin{gathered} 假设令\overrightarrow{v_1}=(\Delta t_1,\Delta x_1,\Delta y_1,\Delta z_1) \\ \overrightarrow{v_2}=(\Delta t_2,\Delta x_2,\Delta y_2,\Delta z_2) \end{gathered}$$
    $则(\overrightarrow{v_1},\overrightarrow{v_2})=-\Delta t_1\Delta t_2+\Delta x_1\Delta x_2+\Delta y_1\Delta y_2+\Delta z_1\Delta z_2$