四参数拟合之LMF法（无约束)

前言

 写到这里，已经发现了前面两篇文章的重大bug。那就是牛顿法也好，LM法也好，都是针对无约束的问题，而四参数拟合问题是一个有约束的问题，参数一般设置为0到正无穷。这也解释了为何之前的计算结果，总是和L4P的结果不同。根本原因在于完全没搞懂四参数拟合的参数意义。所以这篇重点介绍LM算法，四参数拟合结果仍然有问题
 事到如今，将错就错， 把Levenberg-Marquardt算法写完。Levenberg-Marquardt简称L-M，它的主要目的是克服了高斯牛顿法必须要求雅可比矩阵秩满列的缺点，为此，它引入了新的目标函数。

LM 算法

高斯牛顿法目标
$$arg\underset{w}{\min }(F(w))=arg\underset{w}{\min }\sum _{i=1}^m||y_i-f(w;x_i)|{|}^2=arg\underset{w}{\min }\frac{1}{2}r(w{)}^{T}r(w)$$
$r(w)$是残差向量,$r_i(w)=y_i-f(w;x_i)$，$w=[A,B,C,D]$为带求参数
$$f(w;x_i)=D+\frac{A-D}{1+(x_i/C{)}^B}$$
L-M法目标

$$arg\underset{w}{\min }\sum _{i=1}^m||y_i-f(w;x_i)|{|}^2+\lambda ||\Delta w|{|}^2$$

这个目标式对$||\Delta w|{|}^2$的进行约束，防止$||\Delta w|{|}^2$，使得泰勒展开式误差过大。这个目标跟岭回归的目标式如出一辙
$$\Delta w=-(J_f^T{J}_f+\lambda I{)}^{-1}{J}_f^{T}r(w)$$
从上式可以看出，$\lambda$很大的时候，下降梯度接近最速下降法，很小时，则接近于高斯牛顿法。为了得到合适的$\lambda$值需要引入一个评价指标$q$。
令$s=\Delta w$,$$L(s)=F(w+\Delta w)\approx F(w)+g(w{)}^{T}s+\frac{1}{2}{s}^{T}Gs$$
这里的$g(w),G$分为$F$的梯度以及海赛矩阵，其中，$G$只是取一个近似值
$$q=\frac{F(w)-F(w+\Delta w)}{L(0)-L(s)}$$
从上式可以看出，$q$越接近$1$，泰勒展开的估计值越准确。$q$只要大于0，至少说明方向是正确的，如果$q$小于0，则要调节步长了。我们已经能看到步长$s=\Delta w$实际是通过$\lambda$控制，调节范围在最速下降和高斯牛顿法之间。这种步长的调节方法也称为称为信赖域的方法。
具体调整策略很多，简单的做法如下:
设置参数如下$ϵ=0.01,{\eta }_1=0.01,{\eta }_2=0.75,{\gamma }_1=0.5,{\gamma }_2=2,\lambda =1$
$$\{\begin{array}{cc}q<{\eta }_1,& \lambda ={\gamma }_2\lambda \\ {\eta }_2\le q\le {\eta }_1,& \lambda =\lambda \\ q>{\eta }_2,& \lambda ={\gamma }_1\lambda \end{array}$$
设置收敛条件：

1. 决定系数R>0.997
2. $F_{k+1}-F_k<10e-6$
3. $||J_f\ast r(w)|{|}^2<ϵ$
4. 超过最大运算次数

可以多选或者选其一

Matlab代码

%Levenberg-Marquardt

clear;
load census;
x1 = cdate ;
y1 = pop ;
m = length(x1);
%parameters
eps = 0.01;
eta1 = 0.01;
eta2 = 0.75;
gama1 = 0.5;
gama2 = 2;
lamda = 1;
%init a,b,c,d
d = max(y1)+1;
a = min(y1)-0.1;
y2 = log((y1-d)./(a-y1));
x2 = log(x1);
[curve2,gof2] = fit(x2,y2, 'poly1');
b = -curve2.p1;
c = exp(curve2.p2/b);
%LMF
w=[a,b,c,d]'; 
[res,R,fit] = evaluateFit(y1,x1,w);
mse = 0.5*sum((y1-fit).^2); 
r = y1-fit;
for k = 1:1:1000
    JacobiMatrix = getJaccobiMatrix(x1,a,b,c,d);
    HessenMatrix = (JacobiMatrix)'*(JacobiMatrix)+lamda*eye(4);
    delta_w = inv(HessenMatrix)*JacobiMatrix'*r;
    w_new = w+delta_w;
    [res,R,fit_new] = evaluateFit(y1,x1,w_new);
    mse_new =0.5*sum( (y1-fit_new).^2);
    q = (mse - mse_new)/(r'*JacobiMatrix*delta_w+0.5*delta_w'*HessenMatrix*delta_w);
     if q<eta1
        lamda = lamda * gama2;
        continue;
    elseif  q>eta2
         lamda = lamda * gama1;
     end
    %coverage
    de = abs(norm(JacobiMatrix'*r));
    if de<eps
        break;
    end
    %update compution result
    fit = fit_new;
    mse = mse_new;
    r  = y1-fit;
    %update a b c d
    a = w_new(1);b = w_new(2);c = w_new(3);d= w_new(4);
    w=w_new; 

end
function [JacobiMatrix] = getJaccobiMatrix(x1,a,b,c,d)
   JacobiMatrix = ones(length(x1),4);
   for i = 1:1:length(x1)
        JacobiMatrix(i,1) = calc_pA(x1(i),a,b,c,d);
        JacobiMatrix(i,2) = calc_pB(x1(i),a,b,c,d);
        JacobiMatrix(i,3) = calc_pC(x1(i),a,b,c,d);
        JacobiMatrix(i,4) = calc_pD(x1(i),a,b,c,d);
    end
end
function [res,R2,fit] = evaluateFit(y,x,w)
fit = getFittingValue(x,w);
res =  norm(y-fit)/sqrt(length(fit));
yu =  mean(y);
R2 = 1 - norm(y-fit)^2/norm(y - yu)^2;
end
function fit = getFittingValue(x,w)
len = length(x);
fit = ones(len,1);
for i = 1:1:len
    fit(i)  = hypothesis(x(i),w);
end
end
function val  = hypothesis(x,w)
a = w(1);b= w(2);c= w(3);d= w(4);
val = d+(a-d)/(1+(x/c)^b);
end
function val = calc_pA(x,A,B,C,D)
val = 1/((x/C)^B + 1);
end
function val = calc_pB(x,A,B,C,D)
val = -(log(x/C)*(A - D)*(x/C)^B)/((x/C)^B + 1)^2;
end
function val = calc_pC(x,A,B,C,D)
val = (B*x*(A - D)*(x/C)^(B - 1))/(C^2*((x/C)^B + 1)^2);
end
function val = calc_pD(x,A,B,C,D)
val = 1 - 1/((x/C)^B + 1);
end

后面，研究一下四参数拟合的约束情况