非线性最小二乘法之Gauss Newton、L-M、Dog-Leg

最新推荐文章于 2024-07-26 17:10:31 发布

RokiesHy_cv

最新推荐文章于 2024-07-26 17:10:31 发布

阅读量3.3w

点赞数 55

分类专栏：非线性优化文章标签：最小二乘法高斯牛顿阻尼最小二乘法 Dog-Leg

本文链接：https://blog.csdn.net/stihy/article/details/52737723

版权

非线性最小二乘法之Gauss Newton、L-M、Dog-Leg

最快下降法

假设 $h^TF'(x) < 0$ ，则h是 $F(x)$ 下降方向，即对于任意足够小的 $\alpha > 0$ ，都满足 $F(x+ \alpha h) < F(x)$ 。
现在讨论 $F(x)$ 沿着h方向下降快慢：

lim α \to 0 F ( x ) - F ( x + α h ) α ∥ h ∥ = - 1 ∥ h ∥ h T F' (x) = - ∥ ∥ F' (x) ∥ ∥ cos θ

$\lim_{\alpha\to0}\frac{F(x)-F(x+\alpha h)}{\alpha \left \| h \right \|}=-\frac{1}{\left \| h \right \|}h^TF'(x)=-\left \|F'(x)\right\|\cos \theta$
其中

θ $\theta$ 为矢量h和

F′(x) $F'(x)$ 夹角，当

θ=π $\theta=\pi$ 时，下降最大。
即

hsd=−F′(x) $h_{sd}=-F'(x)$ ，是最快下降方向。

最小二乘问题

通常的最小二乘问题都可以表示为：

F (x) = 1 2 \sum i = 1 n (f i (x) 2) = 1 2 ∥ f (x) ∥ 2 = 1 2 f (x) T f (x)

$F(x) = \frac{1}{2}\sum_{i=1}^{n}(f_i(x)^2) = \frac{1}{2} \left \| f(x) \right \| ^2 = \frac{1}{2}f(x)^Tf(x)$
找到一个

x∗ $x^*$ 使得

x∗=argminxF(x) $x^* = argmin_x{F(x)}$ ，其中

x=[x1x2⋯xm] $x=[x_1 x_2 \cdots x_m]$ ，

f(x)=[f1(x)f2(x)⋯fn(x)] $f(x)=[f_1(x) f_2(x) \cdots f_n(x)]$ 。

假设对 $f(x)$ 第 $i$ 个分量 $f_i(x)$ 在点 $x_k$ 处Taylor展开,
$f_i(x_k+h) \approx f_i(x_k)+\nabla f_i(x_k)^Th$ ， $i=1,2\cdots n$
则 $f(x_k+h) \approx f(x_k)+J(x_k)h$ ，其中Jacobin矩阵

J (x k) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ \nabla f 1 (x k) T \nabla f 2 (x k) T ⋮ \nabla f n (x k) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f 1 ( x k ) \partial x 1 \partial f 2 ( x k ) \partial x 1 ⋮ \partial f n ( x k ) \partial x 1 \partial f 1 ( x k ) \partial x 2 \partial f 2 ( x k ) \partial x 2 ⋮ \partial f n ( x k ) \partial x 2 \dots \dots ⋱ \dots \partial f 1 ( x k ) \partial x m \partial f 2 ( x k ) \partial x m ⋮ \partial f n ( x k ) \partial x m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$J(x_k)=\left[\begin{matrix} \nabla f_1(x_k)^T \\ \nabla f_2(x_k)^T \\ \vdots \\ \nabla f_n(x_k) \\ \end{matrix}\right] =\left[ \begin{matrix} \frac{\partial f_1(x_k)}{\partial x_1} &\frac{\partial f_1(x_k)}{\partial x_2} &\cdots &\frac{\partial f_1(x_k)}{\partial x_m} \\ \frac{\partial f_2(x_k)}{\partial x_1} &\frac{\partial f_2(x_k)}{\partial x_2} &\cdots &\frac{\partial f_2(x_k)}{\partial x_m} \\ \vdots &\vdots &\ddots &\vdots \\ \frac{\partial f_n(x_k)}{\partial x_1} &\frac{\partial f_n(x_k)}{\partial x_2} &\cdots &\frac{\partial f_n(x_k)}{\partial x_m} \\ \end{matrix} \right]$
通常记

fk=f(