LandscapeMi

landscapemi的博客

机器学习笔记_数学基础_6-矩阵方程组的求解与最小二乘定义

矩阵方程组的求解

  • AX=b 的解问题
    1. AX=b 有解 => 唯一解;无穷多解;
    2. AX=b 无解 => 转换为最小二乘问题(没有解析解,寻找最优解,最小二乘问题)

有解得矩阵方程算法

  • 高斯消去法(复杂度o(n3))

  • 迭代算法(为什么选择迭代算法:(1) 迭代后,计算量减小 (2)稀疏矩阵=>高斯消去法中,对于0向量要进行填充,所以采用迭代的方法)
    (系数矩阵严格对角占优;对角线元素比同行其他元素的和还要大)
    ** 雅克比算法

    1. 不动点迭代算法
    2. 令: DA线;L是A的下三角矩阵 ; U是上三角矩阵 ;(A=L+D+U)
      Ax=b
      => (D+L+U)x=b
      => Dx=b(L+U)x
      => X=D1(b(L+U)x)
      => X0=;XK+1=D1(b(L+U)Xk),k=0,1,2,

    ** 高斯-赛德尔算法
    X0=;XK+1=D1(bUxkLxk+1),k=0,1,2,


对称正定矩阵的求解

  • 楚列斯基分解

  • 预条件的共轭梯度法

最小二乘问题

  • 最小二乘问题的定义:
    1. 曲线数据的拟合问题(线性回归)
    2. 超定方程组的求解
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/mijian1207mijian/article/details/49924457
个人分类: 机器学习
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

机器学习笔记_数学基础_6-矩阵方程组的求解与最小二乘定义

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭