LM method

L-M method introduction

1. 非线性最小二乘形式

$min \; S(x) =f^T(x)f(x)=||f(x)||^2$
其中：
$\qquad f(x) = (f_1(x),f_2(x),f_3(x)...f_n(x))^T$
$\qquad x=(x_1,x_2,...x_n)$
求解思想： 利用线性函数来逼近非线性问题，再模仿线性最小二乘求解方法进行求解。

2. Gauss-Newton 方法

设已知第k次迭代点$x^k$,由泰勒展开式得
$f(x)\approx f(x^k)+\nabla f_i(x^k)(x-x^k),(i=1,..,m)$
所以
$\qquad f(x)\approx f(x^k)+A(x^k)(x-x^k)$
则有
$S(x)=\Vert f(x^k)+A(x^k)(x-x^k)\Vert^2 = \Vert A_kd^k+f(x^k)\Vert^2\ = [ A_kd^k+f(x^k)]^T[ A_kd^k+f(x^k)]$

---

ref:>https://wenku.baidu.com/view/b27b577d453610661ed9f4a8.html