使用加权最小二乘法和加权最小最大法进行优Matlab实现

Matlab科研工作室

于 2024-10-01 23:43:48 发布

阅读量461

点赞数 4

文章标签：最小二乘法 matlab 算法

本文链接：https://blog.csdn.net/qq_72962865/article/details/142676299

版权

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。

🍎个人主页：Matlab科研工作室

🍊个人信条：格物致知。

更多Matlab完整代码及仿真定制内容点击👇

智能优化算法神经网络预测雷达通信无线传感器电力系统

信号处理图像处理路径规划元胞自动机无人机

物理应用机器学习

🔥 内容介绍

加权最小二乘法 (Weighted Least Squares, WLS) 和加权最小最大法 (Weighted Minimax, WMM) 是两种常用的优化方法，用于解决在不同数据点上权重不同的最小化问题。本文将深入探讨这两种方法的理论基础，并结合Matlab编程语言，详细阐述其具体实现步骤以及在实际应用中的优缺点。

一、加权最小二乘法 (WLS)

最小二乘法旨在找到一组参数，使得模型预测值与观测值之间的平方误差之和最小。然而，在实际应用中，不同数据点的可靠性往往不同，例如，一些数据点可能受到噪声的干扰更大，或者其测量精度较低。此时，简单的最小二乘法无法有效地利用所有数据的信息，加权最小二乘法应运而生。

WLS的基本思想是为每个数据点赋予一个权重，权重越大表示该数据点越可靠，对最终结果的影响也越大。假设我们有n个数据点 (xi,yi)(xi,yi)，以及相应的权重 wiwi，模型为 y=f(x,θ)y=f(x,θ)，其中 θθ 为待估计的参数向量。WLS的目标函数为：

J(θ)=∑i=1nwi(yi−f(xi,θ))2J(θ)=∑i=1nwi(yi−f(xi,θ))2

最小化该目标函数即可得到参数 θθ 的最优估计。当 f(x,θ)f(x,θ) 为线性模型时，即 f(x,θ)=Xθf(x,θ)=Xθ，其中 XX 为设计矩阵，则WLS的解为：

θ^=(XTWX)−1XTWyθ^=(XTWX)−1XTWy

其中，W=diag(w1,w2,...,wn)W=diag(w1,w2,...,wn) 为权重矩阵。

Matlab实现：

% 数据 x = [1, 2, 3, 4, 5]; y = [2, 3, 5, 4, 7]; w = [1, 2, 1, 0.5, 2]; % 权重 % 设计矩阵 X = [ones(size(x)), x]; % 权重矩阵 W = diag(w); % 计算参数 theta = (X'*W*X)\(X'*W*y); % 绘图 x_fit = linspace(min(x), max(x), 100); y_fit = [ones(size(x_fit)), x_fit]*theta; plot(x, y, 'o', x_fit, y_fit); legend('数据', '拟合曲线');

这段代码实现了对一组数据进行线性加权最小二乘拟合。用户可以根据实际情况修改权重向量 w 和设计矩阵 X。对于非线性模型，可以使用迭代算法，如高斯-牛顿法或列文伯格-马夸特法进行求解。

二、加权最小最大法 (WMM)

WMM旨在最小化最大加权误差。与WLS不同，WMM关注的是最大的误差，而不是误差的平方和。其目标函数为：

J(θ)=max⁡i=1,...,n{wi∣yi−f(xi,θ)∣}J(θ)=maxi=1,...,n{wi∣yi−f(xi,θ)∣}

最小化该目标函数等价于求解如下线性规划问题：

min⁡tmint

s.t.−t≤wi(yi−f(xi,θ))≤t,i=1,...,ns.t.−t≤wi(yi−f(xi,θ))≤t,i=1,...,n

其中，tt 为一个辅助变量，表示最大加权误差。

Matlab实现：

对于线性模型，WMM可以转化为线性规划问题，使用Matlab的 linprog 函数进行求解。对于非线性模型，通常需要使用迭代算法，例如改进的单纯形法或其他非线性规划算法。以下是一个线性模型的例子:

% 数据 (与WLS例子相同) x = [1, 2, 3, 4, 5]; y = [2, 3, 5, 4, 7]; w = [1, 2, 1, 0.5, 2]; % 设计矩阵 X = [ones(size(x)), x]; % 线性规划问题 f = [0, 0, 1]'; % 目标函数系数 A = [-diag(w)*X, ones(5,1); diag(w)*X, ones(5,1)]; b = [w.*y; -w.*y]; lb = [-inf; -inf; 0]; % 下界 ub = [inf; inf; inf]; % 上界 options = optimoptions('linprog','Algorithm','dual-simplex'); [theta_wmm,~,exitflag] = linprog(f,A,b,[],[],lb,ub,options); %判断求解是否成功 if exitflag > 0 % 绘图 (类似于WLS的绘图部分) x_fit = linspace(min(x), max(x), 100); y_fit = [ones(size(x_fit)), x_fit]*theta_wmm(1:2); plot(x, y, 'o', x_fit, y_fit); legend('数据', '拟合曲线'); else disp('线性规划求解失败!'); end