1. 特征值与特征向量
2. SVD奇异值分解
2.1 SVD定义
wiki: https://zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A3
2.2 SVD理解
Ref:奇异值分解(SVD) - 知乎
应用:
对于齐次线性方程 A*X =0; 当A的 行数大于列数时,就需要求解最小二乘解,在||X||=1的约束下,其最小二乘解为矩阵A'A最小特征值所对应的特征向量。
求解方法有两种(matlab):
1. [V D] =eig(A'*A); D为A'*A的特征值对角矩阵,V为对应的特征向量。找到最小特征值对应的V中的特征向量即为最小二乘解。
2. 使用SVD分解矩阵A,[U S V] = svd(A); U 由 A*A'的特征向量组成,V 由 A'*A的 特征向量组成,因此,奇异值矩阵S中最小的奇异值对应的V中的奇异向量即为最小二乘解。