线性判别分析LDA和主成分分析PAC。LDA和PAC作为经典的降维算法，如何从应用的角度分析其原理的异同？从数学推导的角度，两种降维算法在目标函数上有何去区别和联系？

场景分析：

同样作为线性降维算法，PAC是非监督的降维方法，而LDA线性判别分析是有监督的降维算法。

问题解答：

首先将线性判别分析LDA扩展到高维的情况。假设有n个类别，并需要将特征降维至d维，因此我们需要找到以恶搞d维的投影超平面，使得投影后的样本满足线性判别分析LDA的目标，最大化类间距离和最小化类内距离。

推导过程暂时省略。。。。。。

 

 

从主成分分析PAC和线性判别分析LDA两种降维方法的求解过程来看，他们确实有着很大的相似性，但是对应的原理却有所区别。

首先从目标出发，PAC选择的是投影后数据方差最大的方向，由于他是无监督的，因此主成分分析PAC假设方差越大，信息量就越多，用主成分来表示原始数据可以去除冗余的维度，达到降维。而线性判别分析LDA选择的是投影后类间方差大，类内方差小的方向，用到了标签信息，为了找到数据中具有判别性的维度，使得原始数据在这方面投影后，不同类别尽可能区分开。

举个简单例子：

在语音识别中，我们想从一段音频中提取出人的语音信号，这时候可以使用主成分分析PAC进行降维，过滤屌一些固定频率（方差较小）的背景噪声。但是如果我们需求是从这段语音中区别是那个人的，我们应该使用线性判别分析LDA对数据进行降维，使得每个人的语音信号具有区分性。

在人脸识别中：

基于主成分分析PAC的人脸识别方法也成为特征脸方法，该方法是将图像按行展开车过以恶搞高维向量，对多个人人脸特征进行协方差矩阵做特征值分解，其中较大特征值对应的特征向量具有与人脸相似的形状，故称为特征脸。

由于主成分分析PAC进行降维，一般情况下保留饿嘴角描述特征（主成分），而非分类特征。如果想来达到个高的人脸识别效果，应该使用线性判别分析LDA方法对数据进行降维，使得不同人脸在投影后特征具有一定区分性。