主成分分析(PCA),或称霍特林变换、K-L变换(Karhunen–Loève theorem)等,在机器学习、统计分析、图像处理等领域有非常多的应用。例如,在机器学习中,它常常被用来进行降维,同时也被用在数据可视化领域。本博客的专栏中,讨论PCA话题的文章也已经有好几篇了。如果你想从最基本的数学原理上理解PCA(涉及很多公式推导和证明),那么你可以参考一下文献【1】。在继续本文之前,建议你先阅读一下前导文章【2】。
1. 主成分变换的实现
本小节通过一个算例验证一下之前的推导,这个例子同时也演示了PCA去除相关性的效果。在前面给出的例子中(见【2】),我们已经计算了数据的协方差矩阵
由于方程是齐次的,所以不独立。因为系数矩阵有零行列式,所以方程有非无效解。从两个方程的任何一个可见
现在考虑该结论该如何解释。特征向量