PCA和线性回归之间的关系如何？

PCA和线性回归是完全不同的两个算法，尽管看上去有一些相似。我们用图来描述一下，用左图表示线性回归，当给定某个输入特征量x时，预测出某变量y的值。在线性回归中，要做的是拟合一条直线来最小化点和直线之间的平方误差，所以要最小化的是点到直线的垂直距离的平方，是某个点与假设的得到预测值之间的距离。

不同的是，在处理PCA中，要做的是试图最小化点到拟合直线之间的长度，这些距离直线是倾斜的，实际上，这些距离是点到直线的最短的正交距离。

更一般的是，在线性回归中，我们试图预测一个特别的变量y，线性回归要做的是，用所有的x值来预测y。然而在PCA中，没有区别对待，没有特殊的变量y是需要预测的。相反，一系列特征都是同等对待的，没有一个是特殊的。