函数关系 X=f(P) X = f ( P ) ,其中X是测量矢量,P是参数矢量。这是一个多参数,多输出的拟合问题。测量矢量认为是准确的,需要调参拟合。要求求出满足 X=f(P^)+ϵ X = f ( P ^ ) + ϵ 的矢量 P^ P ^ 并使得 ||ϵ|| | | ϵ | | 最小化。
- 初始化: X=f(P0)+ϵ0 X = f ( P 0 ) + ϵ 0
局部线性假设: f(P0+Δ)=f(P0)+JΔ f ( P 0 + Δ ) = f ( P 0 ) + J Δ
J J 是雅可比矩阵:
最小化
最小化 ||ϵ0−JΔ|| | | ϵ 0 − J Δ | | : JTJΔ=JTϵ0 J T J Δ = J T ϵ 0 或 JT∑−1JΔ=JT∑−1ϵ0 J T ∑ − 1 J Δ = J T ∑ − 1 ϵ 0Pi+1=Pi+Δi P i + 1 = P i + Δ i ,继续迭代。(需要设置停止迭代的条件,比如余差< 0.001)
不足:迭代过程可能只收敛到一个局部最小值或者根本不收敛。最终结果强烈依赖于初始估计
P0
P
0
梯度下降(虽然不是。梯度下降是要下降,越小越好。这是是拟合);残差神经网络;梯度选择走多大步:好像,余差+梯度拟合
看一下,牛顿法求开方
比如,求根号4
方程是 : 4=f(x)=x*x。跟上面做对比:P=x,X=4。
选初值是x=1。按照上面步骤进行可以求出精确解x。
这个特殊情况下,第二步最小化直接可以求出来