机器学习笔记_数学基础_5-矩阵理论

原创 2015年11月18日 23:44:38

矩阵分解

  • Guass消去: 高斯消去可以充分进行的充分必要条件是A的前n-1个顺序主子式都不为零
    k0,k=1,2,,,n1
  • 矩阵三角分解(Guass消去的推广)

  • QR分解(正交三角分解)
    实非奇异矩阵A分解为正交矩阵Q和实非奇异三角矩阵R的乘积

奇异值分解

  • 若A是n阶实对称矩阵,则存在正交矩阵Q,使得
    QTAQ=diag(λ1,,λn)

  • A是非奇异矩阵(满秩矩阵),且A不是对称阵,则存在正交矩阵P和Q,使得 =>A的正交对角分解

    QT(ATA)Q=diag(σ1,,σn)
    => A=Pdiag(σ1,,σn)QT
    其中 σ2iATA


  • 令A属于 Cmnr,r>0(r表示A的秩); ATA的特征值是
    λ1λ2λr>λr+1=λr+2==λn=0
    σi=λi,为A的奇异值

  • A属于 Cmnr,r>0(r表示A的秩); 则存在m阶酉矩阵(正交矩阵)U和n阶酉矩阵(正交矩阵)

    UHAV=[Σ000]

证明(实矩阵情况)

=>ATA的特征值是:

=> λ1λ2=>\quadλr>λr+1=λr+2==λn=0

=> 存在n阶正交矩阵V,使得

=> VT(ATA)V=λ1λn=[Σ2000](1)

=> 令V分块

=> V=[V1|V2] V1CnrrV2Cn(nr)nr

=> 则式(1)为 (正交矩阵ATA=I)

=> ATAV=V[Σ2000]

=> ATAV1=V1Σ2,ATAV2=0

=> VT1ATV1=Σ2(AV1Σ1)T(AV1Σ1)=I

=> (AV2)T(AV2)=0(AV2=0)

=>U=AV1Σ1, 则UT1U1=Ir; U1是r个两两正交的单位向量
U1=(u1,,ur), 将u1,,urCm的标准正交基,及增添向量ur+1,,um => U2=(ur+1,,um)

=> U=[U1|U2]=(u1,,ur,ur+1,,um)

=> U是m阶正交矩阵 且 UT1U1=I,UT2U1=0

=> UTAV=UT[AV1|AV2]=[UT1UT2][U1Σ|O]=[UT1U1ΣUT1U2Σ00]=[Σ000]

证明完毕

<=> A=U[Σ000]VT


  • 例题:求矩阵A=100010110的奇异值分解

解:
=> B=ATA=101011112的特征值是λ1=3,λ2=1,λ3=0, 且对应的特征向量是

ξ1=112; ξ2=110;ξ3=111

=> rankA=2, Σ=[3001]

=> 正交阵V是(ATA特征向量的单位化)

V=16162612160131313

=> U1=AV1Σ1=1212012120

=> 构造U2=001

U=[U1|U2]=1212012120001

=> A的奇异值分解是

A=U300010000VT

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习笔记_数学基础_2-概率论

概率论 概率: P(X)∈[0,1]=>离散;连续P(X) \in [0,1] => 离散;连续 累积分布函数 Φ(x)=P(x)\Phi(x)=P(x)...

TensorFlow 1.0.0rc1 入坑记(续)——转自 慢慢学TensorFlow 微信公众号

安装了 TF 1.0.0rc1 之后好景不长,原来写的代码本来好好的,运行时突然爆了个莫名其妙的错误: 根据报错,问题应该出在 r4 = tf.concat(1, [r4_up...
  • dxmkkk
  • dxmkkk
  • 2017年02月07日 15:54
  • 866

机器学习笔记_数学基础_7-凸优化理论

优化问题minf0(x)min f_0(x) subjecttofi(x)≤bi,i=1,⋯,msubject to f_i(x) \leq b_i, \quad i=1,\cdots,m x=(x...

【ML学习笔记】5:机器学习中的数学基础5

向量/矩阵/张量向量向量可以表示成一维数组,每个分量可以理解为向量所表示的点在空间中坐标的分量。矩阵矩阵可以表示成二维数组,上节理解了矩阵可以理解为线性映射在特定基下的一种定量描述。张量张量可以表示成...

【ML学习笔记】4:机器学习中的数学基础4

线性空间线性空间即向量空间,如果空间中有一个原点O,那么空间中的所有点都可以用向量来表示,这些向量及其运算构成的即是向量空间。基基是线性空间里的一组向量,使得该线性空间中任何一个向量都可以唯一表示成这...

【ML学习笔记】2:机器学习中的数学基础2

琴生不等式下凸函数的一个良好的性质就是满足琴生不等式,因为: 它的加权形式即琴生不等式: 如果将这些权都视为概率,它们加起来为1,那么还能写成数学期望的形式: f(E(x))...

【ML学习笔记】1:机器学习中的数学基础1

机器学习分类[1]监督学习(SL)包括分类预测、回归分析等。监督学习中基于一个训练集(特征1,,特征2,…,特征n,已知目标)训练出一个监督学习算法,去计算仅知道特征的测试集(特征1,特征2,…,特征...

【ML学习笔记】10:机器学习中的数学基础7

对线代的很多知识理解仍很浅薄,继续恶补。向量的本质在线代里,我们习惯说的向量都是指列向量。向量虽然是一列数,但是因为有次序,所以每个数在其所处的位置也会携带信息,可以理解为向量是有n个独立维度的数学对...

【ML学习笔记】6:机器学习中的数学基础6

对角矩阵对角矩阵不一定是个方阵,只要i≠j的位置元素值为0即可。但一般说对角矩阵,考虑的都是方阵的情况,对于方阵,那就是只有主对角线上的元素可以不为0,其它元素都是0。 主对角元从左上角到右下角的次...

机器学习之数学基础(概率与统计推断、矩阵、凸优化)

机器学习之数学基础包含《机器学习之概率与统计推断》4节+《机器学习之矩阵》3节+《机器学习之凸优化》3节...
  • ai100
  • ai100
  • 2017年07月24日 13:44
  • 325
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_5-矩阵理论
举报原因:
原因补充:

(最多只允许输入30个字)