《机器学习中的数学》——PCA与特征值分解

摘要

PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。本篇主要从线性代数角度分析PCA。

问题分析

给定矩阵$X\subseteq {\mathbb{R}}^{m\ast n}$例如：
$$X=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\\ b_1& b_2& \cdots & b_n\end{array}\right]$$
选择$k<m$个正交基进行将为的同时又尽量保持原始数据的信息。即，使的$A$变换得到这组基后，使得行向量间的协方差为0，而每个行向量的方差尽可能大。
协方差矩阵（对称半正定）为：
$$C_X=\frac{1}{n}X{X}^T=\left[\begin{array}{cc}\frac{1}{n}{\sum }_{i=1}^n{a}_i^2& \frac{1}{n}{\sum }_{i=1}^n{a}_i{b}_i\\ \frac{1}{n}{\sum }_{i=1}^n{a}_i{b}_i& \frac{1}{n}{\sum }_{i=1}^n{b}_i^2\end{array}\right]$$
这里对特征做了0均值化，所以主对角线上的元素为每行特征的方差，其他的元素为该维度特征与其他特征的协方差，我们对此对称阵$C_X$相似对角化：
$$C_X=U\Lambda U^T\Rightarrow \Lambda =U^T{C}_{X}U$$
在对角元素中得到最大的前k个特征值所对应的特征向量，求得${\xi }_{i}X$($i\subseteq k$)。
举例：

总结与链接

博客为学习使用。