深度学习花书-2.10 PCA数学推导

2.10 PCA

本节主要记录部分推导过程中的问题，PCA的推导全过程之后再补充

1. 如何从2.71过渡到2.72

个人认为，从2.72往2.71推导更容易一些，然后我们再逆向考虑就行了

先介绍一下Frobenius范数，定义公式如下，即矩阵每个元素的平方和开根
$$\Vert \mathbf{A}{\Vert }_F\equiv \sqrt{\sum _{i=1}^m\sum _{j=1}^n{\left|a_{ij}\right|}^2}\text{\hspace{1em}(1)}$$
假设$A=\left[\begin{array}{c}{a}_1^T\\ a_2^T\\ \cdot \\ \cdot \\ \cdot \\ a_m^T\end{array}\right]$​。那么有
$$\Vert \mathbf{A}{\Vert }_F^2=\sum _{i=1}^n||a_i|{|}_2^2\text{\hspace{1em}(2)}$$
我想这个式子比较好理解，请记住它，一会儿会用到。

根据 ${\mathbf{X}}_{i,:}={\mathbf{x}}^{(i{)}^T}$​，我们可以得出$X$​​ 是这样的，每个$x^{(i)}$​都是n维列向量​
$$X=\left[\begin{array}{c}{x}^{(1{)}^T}\\ x^{(2{)}^T}\\ \cdot \\ \cdot \\ \cdot \\ x^{(m{)}^T}\end{array}\right]\text{\hspace{1em}(3)}$$
我们试着表示一下$X-Xd{d}^T$​，如下
$$X-Xd{d}^T=\left[\begin{array}{c}{x}^{(1{)}^T}\\ x^{(2{)}^T}\\ ⋮\\ x^{(m{)}^T}\end{array}\right]-\left[\begin{array}{c}{x}^{(1{)}^T}\\ x^{(2{)}^T}\\ ⋮\\ x^{(m{)}^T}\end{array}\right]d{d}^T\text{\hspace{1em}(4)}$$

$$=\left[\begin{array}{c}{x}^{(1{)}^T}-x^{(1{)}^T}d{d}^T\\ x^{(2{)}^T}-x^{(2{)}^T}d{d}^T\\ ⋮\\ x^{(m{)}^T}-x^{(m{)}^T}d{d}^T\end{array}\right]\text{\hspace{1em}(5)}$$

观察(4)，每一行都是一个列向量的转置，这个列向量就是 $x^{(i)}-x^{(i{)}^T}dd$​​​，即(2)式中的 $a_i$​​

注意，由于$x^{(i{)}^T}d$​是一个标量，所以转置的时候不用对它做变换，这一点很关键

那么根据(2)式，我们可以得到
$$\Vert \mathbf{X}-\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\Vert }_F^2=\sum _{i=1}^n||x^{(i)}-x^{(i{)}^T}dd|{|}_2^2\text{\hspace{1em}(6)}$$
看到这儿，对比2.71式，我们已经实现了这个转换过程，大功告成。

现在逆向考虑也变得简单了，就是根据(2)式从右边向左边推即可

2. 如何根据2.84理解最优的d是$X^{T}X$的最大特征值对应的特征向量

2.84式中$d^T{X}^{T}Xd$一定是标量，所以迹运算可以忽略

我们先假设d是$X^{T}X$的特征向量，那么一定有$X^{T}Xd=\lambda d$，带入2.84得到
$$\begin{gathered} \underset{d}{\mathrm{argmax}}\left({\mathbf{d}}^{\top }\mathbf{\lambda }\mathbf{d}\right) \\ =\underset{d}{\mathrm{argmax}}\left(\mathbf{\lambda }\right) \\ ={\mathbf{\lambda }}_{\mathbf{m}\mathbf{a}\mathbf{x}}\text{\hspace{1em}(7)} \end{gathered}$$

也就是说，只要能证明最大值在d为特征向量时取得或者证明最大特征值就是这个表达式的最大值，那么最优的d一定是最大特征值对应的特征向量。我们解决了问题的一半。

证明最大值在d为特征向量时取得是不太好证的，但是证明最大特征值就是这个表达式的最大值，我倒是有些想法。

我们把$X^{T}X$​​特征分解后，得到$P^T\Lambda P$​​，其中P是一个正交阵，即$P^{T}P=1$代入2.84

$d^T{P}^T\Lambda Pd$​​​，直接令V = Pd，得到$v^T\Lambda v$​​ ，展开成二次项即为
$$v_1^2{\lambda }_1+v_2^2{\lambda }_2+...+v_n^2{\lambda }_n\text{\hspace{1em}(8)}$$

又因为${\lambda }_1<{\lambda }_{max},{\lambda }_2<{\lambda }_{max},...,{\lambda }_n<{\lambda }_{max}$​，

所以有
$$\begin{gathered} v_1^2{\lambda }_1+v_2^2{\lambda }_2+...+v_n^2{\lambda }_n<=(v_1^2+v_2^2+...+v_n^2)\ast {\lambda }_{max} \\ =V^{T}V\ast {\lambda }_{max} \\ =(Pd{)}^T(Pd)\ast {\lambda }_{max} \\ =d^T{P}^{T}Pd\ast {\lambda }_{max}={\lambda }_{max}\text{\hspace{1em}(9)} \end{gathered}$$

得证！！

3. 归纳法证明

待补充…