Deep learning花书学习笔记(一)：特征值分解+Moore-Penrose伪逆+迹运算+主成分分析

本人由于在导师分配的论文阅读过程中，发现了深度学习的数学原理的重要性。之前一直吃灰的花书要重新捡起来了。。。

奇异值分解：

1. 奇异值分解的定义：

$$A=UD{V}^T$$
其中$A$为$m\ast n$的矩阵(未必为方阵)，$U$为$m\ast m$的正交矩阵，$D$为$m\ast n$的矩阵，$V$是一个$n\ast n$的正交矩阵。

2. 奇异值分解求解的方法：

求解$A{A}^T$的特征值对应的特征向量为$U$的列向量，求解$A^{T}A$的特征值对应的特征向量为$V$的列向量，$D$的对角线上的元素为$A$的奇异值，对应$A{A}^T$或$A^{T}A$的特征值。

3. 奇异值分解的应用：

其中一个应用为拓展矩阵求逆到一般的矩阵上($m\ne n$)。

Moore-Penrose伪逆：

这个问题在机器学习在各领域应用的paper上大都会遇到，本人最近在找偏微分方程的一篇paper上遇到了矩阵求逆(非方阵)，一直不懂如何求(包括在paper中遇到的病态条件和条件数)，而花书第二章就将到了这个，再次证明了花书的意义。。。
$$Ax=b$$
如果$A$为方阵且可逆$x=A^{-1}b$。
如果$A$不为方阵或者$A$为方阵但不可逆，我们如何表示$x$的解那？
花书首先给出伪逆的定义为：
$$\underset{a\to 0}{\lim }(A^{T}A+aI{)}^{-1}{A}^T$$
我们由定义可以发现上式与带有$L_2$正则项的最小二乘法的解形式是一样的，实际上，伪逆就是统计学家在解决最小二乘法问题时对$A^{T}A$不可求逆,导致问题无法求解时而引入的概念。
考虑一般化的矩阵：$A_{m\ast n}(m!=n)$，设矩阵的秩为r，讨论以下几种情况。

1. 列满秩：$m>n且r=n$，$Ax=0$只有0解。此时$A^T{A}_{n\ast n}$为方阵并且满秩($A{A}^T$未满秩)，为非奇异矩阵。
   左逆：我们定义$(A^{T}A{)}^{-1}{A}^T$为$A$的左逆，因为：
   $$(A$$