在上一节从线性代数说起中,我们从矩阵是一种线性变换的描述,到缩放作为线性变换的其中一种形式,发现如果一个矩阵所代表的线性变换仅呈现出缩放的形式时,引申出了有趣的性质:特征向量(奇异向量)和特征值(奇异值)。那么它们除了某种程度上表现出“本质特征”外,还有什么作用呢?这一次,我们就来介绍一下其中一种:特征值分解和奇异值分解。至于这两种分解有什么用途,那就比较多了:比如节省存储(分解成三个小矩阵)、降维(以用到特征值分解的PCA为代表)、去噪(小奇异值很有大概率上是噪声,是某些非重要和非本质特征,因此可以去掉)、求Moore-Penrose伪逆、推荐(分解后还原的矩阵元素值作为原本缺失值的一种近似)等。
特征值分解
给定矩阵
那么有
其中
特征值分解的方法比较简单,有趣的是探究什么样的矩阵可以进行特征值分解以及矩阵进行特征值分解之后展现出的矩阵有意思的性质。
我们来看下什么样的矩阵可以进行特征值分解呢,首先得是方阵,这个毫无疑问,不然就