简单推导 PCA

考虑二维数据降低到一维的例子，如下图所示：

最小化投影方差（maximize projected variance）：

$$\frac1N\sum_{n=1}^N\left(\pmb u_1^Tx_n-\pmb u_1^T\bar x\right)=\pmb u_1^TS\pmb u_1, \quad s.t.\; \pmb u_1^T\pmb u_1=1$$

则根据拉格朗日乘子法，有：

$$\pmb u_1^TS\pmb u_1+\lambda (1-\pmb u_1^T\pmb u_1)$$

对 $\pmb u_1$ 求导数，得：

$$S\pmb u_1=\lambda \pmb u_1$$

可见投影的最佳方向就是，样本协方差矩阵的特征向量方向；