最小二乘法:
%递推公式,更新p0=p2;for n=2:N-1%%递推最小二乘法? ???K0=p0*X(n,:)'*inv(1+X(n,:)*p0*X(n,:)');%计算K? ???Theta_abs=Theta_abs+K0*(Y(n)-X(n,:)*Theta_abs);%计算估计值Theta;? ???p3=p0-K0*X(n,:)*p0;%计算P? ???p0=p3;? ?? ???%误差平方和最小? ? Y1=X(n,:)*Theta_abs;%递推值? ? J=(Y(n,:)-Y1)*(Y(n,:)-Y1)'? ? if (J
引进后移算子
假定在初始条件0时z变换得到
ARX模型有:
;为均值为0的噪声项
上式可以改写为
上式改写为最小二乘格式(3)
对于(3)式的次观测构成一个线性方程组即
.
取极小化准则函数,极小化,求得参数的估计值,
表示为了确定使准则最小的条件,将该式对各参数求导,并令其结果等于零:
,只要矩阵是满秩的,则是正定的,使准则为极小的条件得到满足,
最小二乘估计的递推算法(RLS)
最小二乘法,不仅占用大量内存,而且不适合于在线辨识,为了解决这个问题,把它转化为递推算法:
若令,则
加权递推最小二乘(RWLS):
e(k)为有色噪声,v(k)为白噪声。
。取,
当噪声为有色噪声时,采用增广最小二乘法:其思路采用CARMA模型。在实际应用中噪声v(k)有两种形式:
1 matlab最小二乘法拟合
[a,Jm]=lsqcurvefit(fun,a0,x,y);fun不支持句柄函数
a0为最优化的初始值,fun为数据原型函数。
x = lsqcurvefit(fun,x0,xdata,ydata,lb,ub); lb ≤ x ≤ ub
[x,norm,res,ef,out,lam,jac]=lsqcurvefit(@F,x0,t,y,v1,v2,opt,P1,P2,...)
其中输出变量的含义为:
1) x : 最优解
2) norm : 误差的平方和
3)res: 误差向量
4) ef : 程序结束时的状态指示:
· >0:收敛
· 0:函数调用次数或迭代次数达到最大值(该值在options中指定)
· <0:不收敛
5) out: 包含以下数据的一个结构变量
· funcCount 函数调用次数
· iterations 实际迭代次数
· cgiterations 实际PCG迭代次数(大规模计算用)
· algorithm 实际使用的算法
· stepsize 最后迭代步长(中等规模计算用)
· firstorderopt 一阶最优条件满足的情况(大规模计算用)
6) lam:上下界所对应的Lagrange乘子
7) jac:结果(x点)处的雅可比矩阵
输入参数
其中输入变量的含义为:
· x0为初始解(缺省时程序自动取x0=0)
· t,y: 拟合数据
· v1,v2: · options:包含算法控制参数的结构LineSearchType 线搜索方法
(‘cubicpoly’,’quadcubic’(缺省值))
opt=optimset(oldopts,newopts)
可以设定的参数比较多,对lsqnonlin和lsqcurvefit,常用的有以下一些参数:
Diagnostics 是否显示诊断信息( 'on' 或'off)
Display 显示信息的级别('off' , 'iter' , 'final,'notify)
LargeScale 是否采用大规模算法( 'on' 或'off)缺省值为on
MaxIter 最大迭代次数
TolFun 函数计算的误差限
TolX 决策变量的误差限
Jacobian 目标函数是否采用分析Jacobi矩阵('on' ,'off)
MaxFunEvals 目标函数最大调用次数
LevenbergMarquardt 搜索方向选用LM法(‘on’), GN法(‘off’,缺省值)
LineSearchType 线搜索方法(‘cubicpoly’,’quadcubic’(缺省值))
LargeScale: [ on | off ]
LevenbergMarquardt: [ {on} | off ]
例子1用matlab实现对
1 首先编写m文件
function f =lsq(x,xdata)
f=x(1)*sin(xdata)+0.5*x(2)*sin(2*xdata)./(1-x(2)^2*sin(xdata).^2).^0.5
2 利用lsqcurvefit函数调用m文件o=[0:0.01*pi:2*pi];
xdata=o