写在前面:
现有的印象是:特征向量代表向量最坚守的部分,方向不变,只是会伸缩。而特征分解是沿着最重要的特征向量方向上的分解,有SVD分解、PCA主城成分分析等。但无法深入讲下去了。
特征值和特征向量的几何意义
矩阵乘法其实是对应着一个线性变换,是把任意一个向量变成另一个方向或者长度的新向量。在这个变换中,原向量主要发生旋转、伸缩的变化。如果某个向量x在矩阵A作用下只发生了伸缩变化,其位置仍停留在原来的直线上,称这些向量为矩阵的特征向量,伸缩的比例就是特征值。
定义:
几何意义:
对于实对称矩阵来说,不同特征值对应的特征向量必定正交;我们也可以说,一个变换矩阵的所有特征向量组成了这个变换矩阵的一组基;
在机器学习特征提取中,意思就是最大特征值对应的特征向量方向上包含最多的信息量,如果某几个特征值很小,说明这几个方向信息量很小,可以用来降维,也就是删除小特征值对应方向的数据,只保留大特征值方向对应的数据,这样做以后数据量减小,但有用信息量变化不大,PCA降维就是基于这种思路。我们通过特征值分解得到的对应特征值较大的前N个特征