PCA实例与其在图像压缩中的应用

主成分分析（PCA），或称霍特林变换、K-L变换（Karhunen–Loève theorem）等，在机器学习、统计分析、图像处理等领域有非常多的应用。例如，在机器学习中，它常常被用来进行降维，同时也被用在数据可视化领域。本博客的专栏中，讨论PCA话题的文章也已经有好几篇了。如果你想从最基本的数学原理上理解PCA（涉及很多公式推导和证明），那么你可以参考一下文献【1】。在继续本文之前，建议你先阅读一下前导文章【2】。

---

1. 主成分变换的实现

本小节通过一个算例验证一下之前的推导，这个例子同时也演示了PCA去除相关性的效果。在前面给出的例子中（见【2】），我们已经计算了数据的协方差矩阵

由于方程是齐次的，所以不独立。因为系数矩阵有零行列式，所以方程有非无效解。从两个方程的任何一个可见

现在考虑该结论该如何解释。特征向量和是在原坐标系中用来定义主成分轴的向量&