SVD奇异值分解(Singular Value Decomposition)

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,是矩阵分析中正规矩阵酉对角化的推广。在信号处理、统计学等领域有重要应用。

假设M是一个m×n阶矩阵,其中的元素全部属于域 K,也就是 实数域或复数域。如此则存在一个分解使得
其中U是m×m阶酉矩阵;Σ是半正定m×n阶对角矩阵;而V*,即V的共轭转置,是n×n阶 酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。
常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)
直观的解释 [2]  
在矩阵M的奇异值分解中 
·U的列(columns)组成一套对M的正交"输入"或"分析"的基向量。这些向量是MM*的特征向量。
·V的列(columns)组成一套对M的正交"输出"的基向量。这些向量是M*M的特征向量。
·Σ对角线上的元素是奇异值,可视为是在输入与输出间进行的标量的"膨胀控制"。这些是M*M及MM*的奇异值,并与U和V的列向量相对应。
奇异值和奇异向量, 以及他们与奇异值分解的关系
一个非负实数σ是M的一个奇异值仅当存在Km 的单位向量u和Kn的单位向量v如下 :
其中向量u 和v分别为σ的左奇异向量和右奇异向量。
对于任意的奇异值分解
矩阵Σ的对角线上的元素等于M的奇异值. U和V的列分别是奇异值中的左、右奇异向量。因此,上述定理表明:
一个m × n的矩阵至多有 p = min(m,n)个不同的奇异值。
总是可以找到在Km 的一个正交基U,组成M的左奇异向量。
总是可以找到和Kn的一个正交基V,组成M的右奇异向量。
如果一个奇异值中可以找到两个左(或右)奇异向量是 线性相关的,则称为退化。
非退化的奇异值具有唯一的左、右奇异向量,取决于所乘的单位相位因子eiφ(根据实际信号)。因此,如果M的所有奇异值都是非退化且非零,则它的奇异值分解是唯一的,因为U中的一列要乘以一个单位相位因子且同时V中相应的列也要乘以同一个相位因子。
根据定义,退化的奇异值具有不唯一的奇异向量。因为,如果u1和u2为奇异值σ的两个左奇异向量,则两个向量的任意规范线性组合也是奇异值σ一个左奇异向量,类似的,右奇异向量也具有相同的性质。因此,如果M 具有退化的奇异值,则它的奇异值分解是不唯一的。

因为 U 和 V 向量都是单位化的向量, 我们知道 U的列向量 u1,..., um组成了 K空间的一组 标准正交基。同样, V的列向量 v1,..., vn也组成了 K空间的一组标准正交基(根据向量空间的标准点积法则).
线性变换 TK →  K,把向量 Nx变换为 Mx。考虑到这些标准正交基,这个变换描述起来就很简单了:  T( vi) =  σi ui, for  i = 1,...,min( m, n), 其中 σi 是对角阵Σ中的第 i个元素; 当 i > min( m, n)时, T( vi) = 0。
这样,SVD理论的几何意义就可以做如下的归纳:对于每一个线性映射 TK →  KTK的第 i个基向量映射为 K的第 i基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量,映射 T就可以表示为一个非负对角阵。

1. 矩阵范数的概念 设A∈C m×n,定义一个实值函数||A||,若满足:
(1) 非负性:||A||≥0,且||A||=0当且仅当A=0; (2) 齐次性:||aA||=|a| ||A||,a∈C; (3) 三角不等式:||A+B||≤||A||+||B||,A,B∈ Cm×n; (4) 相容性:||AB||≤||A|| ||B||
则称||A||为A的矩阵范数。 例1 设A=(aij)∈C n×n,则
都是
定理2:由向量的1-范数、2-范数和∞-范数分别诱导出的矩阵范数分别是
通常依次称为列和范数、谱范数和行和范数。
定理3:谱范数和F-范数都是酉不变范数,即对于任意酉矩阵P和Q,有||PAQ||=||A||。



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值