数值优化(十)

最小二乘方

在最小二乘方问题中,目标函数有如下的形式\[f(x)=\frac{1}{2} \sum_{j=1}^{m}r^2_j(x)\]针对这种特殊的形式,可以采取专门的方法来加速优化。计算其梯度以及Hessian得到\[\nabla f(x) = \sum_{j=1}^m r_j(x)\nabla r_j(x) = J(x)^T r(x)\]\[\nabla^2 f(x) =J(x)^TJ(x)+\sum_{j=1}^m r_j(x) \nabla^2 r_j(x)\]其中第二项往往很小,因为在实际问题中,用最小二乘法来确定参数,\(r_j\)代表预测值与真实值的差,这应该是很小的,又由于解附近的near-linearity性质导致二次导数很小,于是有\[\nabla^2 f(x) \approx J(x)^TJ(x)\]这一点是经常被利用到的。

Gauss-Newton

Gauss-Newton在Newton法上做了一些改进,Newton法需要通过\[\nabla^2 f_k p_k =-\nabla f_k \]计算出优化方向\(p_k\),现在直接把上面得到的估计式代入,得到GN方向\(p_k^{GN}\)满足\[J_k^TJ_kp_k^{GN}=-J_k^Tr_k\]由于求梯度的时候就已经计算了\(J\),所以第二步完全省略了Hessian矩阵的计算时间,接下来就可以按正常的步骤选择优化步长。

Levenberg-Marquardt

L-M方法就是改进后的信任域方法,仍然是利用二乘方问题独有的Hessian估计,在迭代点求解\[m_k = \frac{1}{2}\|r_k\|^2+p^TJ_k^Tr_k+\frac{1}{2}p^TJ_k^TJ_kp \quad \|p\|\leq \Delta_k\]\[m_k = \frac{1}{2} \J_kp+r_k|\|_2^2 \quad \|p\| \leq \Delta_k\]

正交距离回归

正交距离回归是在回归问题中不仅考虑到因变量的误差,还考虑到自变量的测量误差而得到的优化问题,目标函数有如下形式\[f(x) = \frac{1}{2}\sum_{j=1}^m w_j^2 \epsilon_j^2 +d^2_j \delta_j^2\]其中\(d_j\)是常数权重并且\[y_j =\Phi(x;t_j+\delta_j)+\epsilon_j\]正交距离回归示意图如下
1443026-20180731115220496-2140136764.png
这个目标函数也可以整理成普通二乘方目标函数的形式
1443026-20180731115330933-528762679.png
1443026-20180731115342308-1836550028.png
然而规模似乎大了一倍,幸运的是,它的Jacobian有特殊的形式
1443026-20180731115603687-1896566170.png
\(\hat{J}\)\(w_j \Phi(t_j+\delta_j;x)\)的Jacobian,V,D是对角阵

转载于:https://www.cnblogs.com/mathematic-offering/p/9394868.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值