很多人都了解PCA算法,但是总很难直观上去想象和理解整个过程,特别是为什么特征向量可以作为一个PCA特征空间变换后的一个基?特征向量和特征值到底怎么理解?
也许很多人查了很多文章和书籍,但是它们几乎没有直面回答。就连解释特征向量和特征值也都是搬特征值分解公式:(XX^T)w=lambda*w。这种解释是苍白无力的,我们依然不能直观理解特征向量和特征值。也有文章将XX^T当做变换矩阵,并从特征向量w的缩放上试图说明,然而依然不能解释透彻(就我而言),更难回答第一个问题“为什么特征向量可以作为一个PCA特征空间变换后的一个基?”
下面的解释过程不是很严谨,反过来却适合直观上去找找感觉。首先我先列个思路:
1.协方差矩阵表示什么?
2.特征向量为什么能表示协方差矩阵特性?特点?
3.扣住常识的特征值分解公式,把故事说圆
4.特征向量为什么能作为PCA变换后特征空间的一个基?
5.特征值部分扣住第四点 <