迭代估计方法---牛顿迭代

函数关系$X=f(P)$，其中X是测量矢量，P是参数矢量。这是一个多参数，多输出的拟合问题。测量矢量认为是准确的，需要调参拟合。要求求出满足$X=f(\hat P)+\epsilon$ 的矢量$\hat P$并使得$||\epsilon||$最小化。

1. 初始化：$X=f(P_0)+\epsilon_0$

2. 局部线性假设：$f(P_0+\Delta)=f(P_0)+J\Delta$
   $J$是雅可比矩阵：
   
   最小化$X-f(P_0+\Delta)=X-f(P_0)-J\Delta=\epsilon_0-J\Delta$
   最小化$||\epsilon_0-J\Delta||$：$J^TJ\Delta=J^T\epsilon_0$或$J^T\sum^{-1}J\Delta=J^T\sum^{-1}\epsilon_0$

3. $P_{i+1}=P_i+\Delta_i$，继续迭代。（需要设置停止迭代的条件，比如余差< 0.001）

不足：迭代过程可能只收敛到一个局部最小值或者根本不收敛。最终结果强烈依赖于初始估计$P_0$
梯度下降（虽然不是。梯度下降是要下降，越小越好。这是是拟合）；残差神经网络；梯度选择走多大步：好像，余差+梯度拟合

---

看一下，牛顿法求开方
比如，求根号4
方程是 ： 4=f(x)=x*x。跟上面做对比：P=x，X=4。
选初值是x=1。按照上面步骤进行可以求出精确解x。
这个特殊情况下，第二步最小化直接可以求出来