2018.11.28 星期三 晴 biolearn
奇异值分解 SVD(Singular Value Decomposition)是一种重要的矩阵分解方法,可以看做是特征分解在任意矩阵上的推广,SVD是在机器学习领域广泛应用的算法。
特征值和特征向量
定义:设 A 是 n 阶矩阵,若数 λ 和 n 维非零向量 x 满足
那么,数 λ 称为方阵 A 的特征值,x 称为 A 的对应于特征值 λ 的特征向量
说明:特征向量 x 不等于0,特征值问题仅仅针对方阵;n 阶方阵 A 的特征值,就是使得齐次线性方程组 (A-λE)x = 0 有非零解的 λ 值,即满足方程 | A - λE| = 0 的 λ 都是方阵 A 的特征值
特征分解
对方阵 A 求取特征值和特征值对应的特征向量可以将方阵 A 进行特征分解为
证明:假设方阵 A 有 n 个线性无关的特征向量 v1, v2, v3, ... , vn,对应的特征值为 λ1, λ2, λ3, ... , λn,令 V = ( v1, v2, v3, ... , vn)
在进行特征分解时,一般将 V 的这 n 个特征向量标准化,即使得 V 中 n 个特征向量为标准正交基,满足
所以方阵 A 的特征分解公式为