证明线性方程当系数矩阵A超正定时,最小二乘解为。
系数矩阵A超定,说明线性方程为超定方程组,方程组个数大于未知量个数,A行数大于列数且列满秩
调研最速下降法、牛顿法、高斯牛顿法和列文伯格-马夸尔特方法各有什么优缺点?除了Ceres库和g2o库意外,还有哪些常用的优化库?
方法 | 优点 | 缺点 |
最速下降法 | 沿着反向梯度方向前进,目标函数必然下降 | 过于贪心,容易走出锯齿路线,反而增加了迭代次数 |
牛顿法 | 保留一阶与二阶项,不会出现锯齿路线 | 需要计算目标函数的H矩阵 |
高斯牛顿法 | 用J*J^T近似代替H矩阵,省略H矩阵的计算过程,简单实用 | 求解增量方程时需要计算H^-1,(J*J^T)只有半正定性,增量的稳定性较差,可能导致算法不收敛(原函数在此点的局部近似不像二次函数) |
列文伯格-马夸尔特方法 | 为增量添加信赖区域,动态调整信赖区域的半径,避免线性方程组的系数矩阵的非奇异和病态问题,提供更稳定、更准确的增量 |
为什么高斯牛顿法的增量方程系数矩阵可能不正定?不正定有什么几何含义?为什么在这种情况下就不稳定了?
Dogleg是什么?它与高斯牛顿法和列文伯格-马夸尔特方法有何异同?请搜索相关的材料。
参考: