《PCA的数学原理》读书笔记

《PCA的数学原理》读书笔记

最近读了张洋的《 PCA的数学原理 》的文章，受益匪浅，但是文章中也有一些地方不甚明了，本着刨根问底的态度，在此写下自己的理解和阅读之中所遇到的困惑及明悟。

作为一只数学狗，个人还是比较喜欢规范化的文字。首先定义一些符号：假设我们有$m$个样本数据，每个样本都是一个$n$维向量，那么我们的样本矩阵就是一个$n \times m$的矩阵$A_{n*m}$，即以列为样本，行为维度。接着我们定义$B$为$A$的协方差矩阵，那么$B$为一个n维方阵，即$B_{n*n}$，显然，B是一个实对称矩阵，学过高等代数（线性代数）的人都知道这是个很好的性质。最后我们定义B的特征值和特征向量为$\lambda_i$和$V_i$，其中$i\in [1,n]$。简单强调下，$\lambda_i$和$V_i$成对才有意义。

OK！符号已经定义完了额！接下来先抛出几个问题。

那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。

1. 方差确实是表示分散程度的描述，但是方差大就一定是在这个维度上投影得最好吗，会不会出现方差次之的情况更能区分好投影后的数据呢？这个在文中没有说明，只是简单地说，这是一种直观的看法，这个很难说服读者。
2. 文中没有解释上下文中，是如何最大方差和特征值、特征向量联系起来的，为什么特征值最大的k个特征向量就是保留信息最多的k个基？
3. 在$R^n$空间中，为什么特征值最大的特征向量就是投影后方差最大的那个？

首先，Problem 1。博主也还尚未完全理解，在此先不讨论，以后再填上这个坑。

再者，Problem 2。博主还！是！不！会！！
呵呵，开玩笑的，博主还是good good study, day day up的好学生来着。下面说说为什么求协方差矩阵B的特征值和特征向量就能找到方差最大的方向。
这是因为A在投影到$V_i$后的方差，就是$lambda_i$ 。
下面给出boring的数学证明。
由于B是A的协方差矩阵，因而有：

B=AAT