SVD

SVD的认识与联系

特征值分解和奇异值分解，在机器学习中属于比较常见的方法。两者有着密切的关系，而SVD（奇异值分解）和特征值分解的目的都是提取一个矩阵最重要的特征

基础定义

（一）特征值
在介绍SVD之前，先初步介绍一下特征值
设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是矩阵A的一个特征值（characteristic value)或本征值（eigenvalue)。，一个矩阵的一组特征向量是一组正交向量。
而特征值分解是将矩阵分解成A=Q∑Q^-1
其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。
（二）奇异值
特征值分解在提取矩阵特征来说是一个很不错的方法，但是这只是对方阵而言，而在实际应用中，很多的矩阵都不是方针，这是就需要奇异值进行解决了。比如说在一个班里面里面有A个学生，每个学生有B个科目的成绩，这样看下去A≠B的情况下，这种就不是方阵了，这时就需要奇异值分解来完成这件事。