PCA与PLS的区别

主成分分析（PCA）是一种无监督学习方法，通过对数据做正交旋转变换，使变换后的变量都是正交的。目的是对多变量数据信息进行调整组合，提取较少的综合变量特征去解释原来数据资料的大部分信息。也就是在力保数据信息损失最少的原则下，对高维数据空间进行降维。
PCA降维之后得到的特征变量通常是原始变量特征的线性组合（KPCA通过核函数的方法得到非线性特征），主成分之间相互正交，消除了变量之间的多重共线性。但是在PCA降维过程中，因变量（响应变量）并没有参与指导主成分的构造，所以PCA有一个弊端：无法保证很好地解释预测变量的方向同时可以很好地预测因变量。

偏最小二乘回归（PLS）是一种监督式方法，包含了主成分分析、典型相关分析的思想。利用PLS降维的目的是使提取后得到的特征变量不仅能很好的概括原始变量的信息，而且对因变量有很强的解释能力。
具体过程为分别从自变量和因变量中提取成分T,U(偏最小二乘因子)，保证T,U能尽可能多的提取所在变量组的变异信息，同时保证二者之间的相关性最大。PLS把m个主成分作为新的变量集，在此基础上进行最小二乘回归，所以响应变量起到了调整各主成分参数的作用。偏最小二乘回归可以较好的解决样本个数少于变量个数的问题，并且除了考虑自变量矩阵外，还考虑了相应矩阵。