关闭

机器学习笔记_数学基础_5-矩阵理论

494人阅读 评论(0) 收藏 举报
分类:

矩阵分解

  • Guass消去: 高斯消去可以充分进行的充分必要条件是A的前n-1个顺序主子式都不为零
    k0,k=1,2,,,n1
  • 矩阵三角分解(Guass消去的推广)

  • QR分解(正交三角分解)
    实非奇异矩阵A分解为正交矩阵Q和实非奇异三角矩阵R的乘积

奇异值分解

  • 若A是n阶实对称矩阵,则存在正交矩阵Q,使得
    QTAQ=diag(λ1,,λn)

  • A是非奇异矩阵(满秩矩阵),且A不是对称阵,则存在正交矩阵P和Q,使得 =>A的正交对角分解

    QT(ATA)Q=diag(σ1,,σn)
    => A=Pdiag(σ1,,σn)QT
    其中 σ2iATA


  • 令A属于 Cmnr,r>0(r表示A的秩); ATA的特征值是
    λ1λ2λr>λr+1=λr+2==λn=0
    σi=λi,为A的奇异值

  • A属于 Cmnr,r>0(r表示A的秩); 则存在m阶酉矩阵(正交矩阵)U和n阶酉矩阵(正交矩阵)

    UHAV=[Σ000]

证明(实矩阵情况)

=>ATA的特征值是:

=> λ1λ2=>\quadλr>λr+1=λr+2==λn=0

=> 存在n阶正交矩阵V,使得

=> VT(ATA)V=λ1λn=[Σ2000](1)

=> 令V分块

=> V=[V1|V2] V1CnrrV2Cn(nr)nr

=> 则式(1)为 (正交矩阵ATA=I)

=> ATAV=V[Σ2000]

=> ATAV1=V1Σ2,ATAV2=0

=> VT1ATV1=Σ2(AV1Σ1)T(AV1Σ1)=I

=> (AV2)T(AV2)=0(AV2=0)

=>U=AV1Σ1, 则UT1U1=Ir; U1是r个两两正交的单位向量
U1=(u1,,ur), 将u1,,urCm的标准正交基,及增添向量ur+1,,um => U2=(ur+1,,um)

=> U=[U1|U2]=(u1,,ur,ur+1,,um)

=> U是m阶正交矩阵 且 UT1U1=I,UT2U1=0

=> UTAV=UT[AV1|AV2]=[UT1UT2][U1Σ|O]=[UT1U1ΣUT1U2Σ00]=[Σ000]

证明完毕

<=> A=U[Σ000]VT


  • 例题:求矩阵A=100010110的奇异值分解

解:
=> B=ATA=101011112的特征值是λ1=3,λ2=1,λ3=0, 且对应的特征向量是

ξ1=112; ξ2=110;ξ3=111

=> rankA=2, Σ=[3001]

=> 正交阵V是(ATA特征向量的单位化)

V=16162612160131313

=> U1=AV1Σ1=1212012120

=> 构造U2=001

U=[U1|U2]=1212012120001

=> A的奇异值分解是

A=U300010000VT

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:102934次
    • 积分:6691
    • 等级:
    • 排名:第3497名
    • 原创:589篇
    • 转载:2篇
    • 译文:0篇
    • 评论:2条
    最新评论