第4章：降维

常见的降维方法有主成分分析、线性判别分析等

1 PCA最大方差理论

        ~~~~~~~        PCA属于一种线性、非监督、全局的降维算法
        ~~~~~~~        知识点：PCA，线性代数

        ~~~~~~~        问题：如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分得目的？针对这个目标函数，如何对PCA问题进行求解？

        ~~~~~~~        PCA得求解方法：
            ~~~~~~~~~~~            (1) 对样本数据进行中心化处理
            ~~~~~~~~~~~            (2) 求样本协方差矩阵
            ~~~~~~~~~~~            (3) 对协方差矩阵进行特征值分解，将特征值从大到小排列
            ~~~~~~~~~~~            (4) 取特征值前d大对应得特征向量${\omega }_1,{\omega }_2,...{\omega }_d$通过以下映射将n维样本映射到d维
                                        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                        

2 PCA最小平方误差理论

问题：PCA求解得其实是最佳投影方向，即一条直线，这与数学中线性回归问题得目标不谋而合，能否从回归得角度定义PCA得目标并相应地求解问题呢？

        ~~~~~~~        不难发现，这与最大方差角度殊途同归，从不同得目标函数出发，得到了相同得求解方法

3 线性判别分析(LDA)

        ~~~~~~~        LDA是一种有监督学习算法，同时经常被用来对数据进行降维。

        ~~~~~~~        问题：对于具有类别标签得数据，应当如何设计目标函数使得降维得过程中不损失类别信息？在这种目标下，应当如何进行求解？
        ~~~~~~~        LDA首先是为了分类服务得，因此只要找到一个投影方向$\omega ,$使得投影后得样本尽可能按照原始类别分开。我们不妨从一个简单得二分类问题出发，有$C_1$、$C_2$两个类别得样本，两类得均值分别为$${\mu }_1=\frac{1}{N_1}\sum _{x\in C_1}x,{\mu }_2=\frac{1}{N_2}\sum _{x\in C_2}x$$我们希望投影之后两类之间得距离尽可能大，距离表示为$$D(C_1,C_2)=\Vert \begin{array}{c}\widetilde{{\mu }_1}-\widetilde{{\mu }_2}\end{array}\Vert$$其中$\widetilde{{\mu }_1}$，$\widetilde{{\mu }_2}$表示两类得中心在$\omega$方向上得投影，$\widetilde{{\mu }_1}={\omega }^T{\mu }_1$，$\widetilde{{\mu }_2}={\omega }^T{\mu }_2$，因此需要优化得问题为
                                    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                    
        ~~~~~~~        容易发现，当$\omega$方向与$({\mu }_1-{\mu }_2)$一致得时候，该距离达到最大值，如图4.5(a)得黄棕两种类别得样本点进行降维时，若按照最大化两类投影中心距离得准则，会将样本点投影到下方的黑线上。但是原本可以被线性划分得两类样本，经过投影后有了一定程度得重叠，这显然不能使我们满意

我们希望得到得投影结果如下图所示，虽然两类得中心在投影之后的距离有所减小，但确使投影之后样本的可区分性提高了

        ~~~~~~~        仔细观察两种投影方式的区别，可以发现，在图b中，投影后的样本点似乎在每一类中分布得更为集中了，用数学化得语言描述就是每类内部得方差比左图中更小。这就引出了LDA得中心思想——最大化类间距离和最小化类内距离。

4 线性判别分析与主成分分析

问题：LDA和PCA作为经典得降维算法，如何从应用得角度分析其原理的异同？数学推导的角度，两种降维算法在目标函数上有何区别与联系？

        ~~~~~~~        从应用的角度，我们可以掌握一个基本的原则——对无监督的任务使用PCA进行降维，对有监督的则应用LDA。对于非线性数据，可以通过核映射等方法对二者分别进行扩展以得到更好的降维效果。