PCA降维

PCA降维

---

　　MDS降维在完全保持距离的情况下，推导式严谨的，而当需要损失一定维度的时候，直接去掉特征值小的维度就用到了主成分分析的方法。PCA降维是高等代数里面的一个技巧，属于各个领域应用比较多的一种降维方法。但是西瓜书上的推导过于粗略，很多线性代数或者矩阵求导的部分都直接给出了结果或者跳步，所以我自己详细推导了一下。

---

PCA降维优化目标的两种推出方式

　　首先，我们推出PCA降维的思路是投影到一个低维度的子空间中，这一点和MDS降维的精确形式一致。那么，怎样的子空间是优秀的呢？有以下两种想法:
　　1)最近重构性，投影离原来向量尽量接近。
　　2)最大可分性，投影之间尽量分开。

　　其实还有一种想法是如果本来有两类，投影开来区分度要大，也就是说两类内部尽量接近，差得尽量远，就是广义瑞利熵刻画的，这就是LDA，但是这里没有两类，所以这种想法不考虑。

---

PCA降维导出目标函数的推理

　　西瓜书或者大部分教材对此推理的线性代数运算跳步很严重，很多并不显然的步骤被跳步了。比如以下几个技巧，把标量做转置，标量与向量换位，这些技巧如果不注意使用的话，很容易合并不了同类项无法进一步计算。
　　经过推理可以看出，两种思路推出的目标函数或者优化的形式是一致的。