PCA和线性回归是完全不同的两个算法,尽管看上去有一些相似。我们用图来描述一下,用左图表示线性回归,当给定某个输入特征量x时,预测出某变量y的值。在线性回归中,要做的是拟合一条直线来最小化点和直线之间的平方误差,所以要最小化的是点到直线的垂直距离的平方,是某个点与假设的得到预测值之间的距离。
不同的是,在处理PCA中,要做的是试图最小化点到拟合直线之间的长度,这些距离直线是倾斜的,实际上,这些距离是点到直线的最短的正交距离。
更一般的是,在线性回归中,我们试图预测一个特别的变量y,线性回归要做的是,用所有的x值来预测y。然而在PCA中,没有区别对待,没有特殊的变量y是需要预测的。相反,一系列特征都是同等对待的,没有一个是特殊的。