矩阵的物理含义是对原有数据进行一种线性变换,这种线性变化,主要旋转、缩放和投影三种类型的效应,其中旋转和缩放是矢量无损的基本效应,投影是有损的效应。
特征值分解其实是对旋转缩放两种效应的分解,而奇异值分解正是对线性变换这三种效应的一个解构。所以特征值分解是无损的,而奇异值分解是有损的。总结一下,特征值分解和奇异值分解都是给一个矩阵(线性变换)找一组特殊的基,特征值分解找到了特征向量这组基,在这组基下该线性变换只有缩放效果。而奇异值分解则是找到另一组基,这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了。由于非方阵具有投影效应(A投向B与B投向A不同),所以他无法完整分解为两个正交基的表达,所以只有方阵才能进行特征值分解(否则就会损失),只能增加一个投影因素进行分解,就是SVD。
摘自知乎:https://www.zhihu.com/question/362909111/answer/3041066407