最优化方法（五）——数据拟合

一、 实验目的与要求

1.掌握求解最小二乘法约束问题思路；

2.掌握建立数据拟合的优化模型；

3.掌握数学符号描述问题，设计算法求解模型。

二、 问题

附件“FittingData”的样本数据如下表1所示，（Xi,Yi）分别表示输入与输出数据之间的对应关系。用函数F(x)=a0+a1x+a2x^2 拟合表1数据，并要求拟合曲线经过点(1,4)，用最小二乘法估计拟合函数F(x)。

1. 建立优化模型，构造求解算法。
2. 根据附件FittingData.mat的数据，求出拟合函数。 

三、模型建立及求解

解决问题思路，算法实现描述，误差分析，存在问题等方面进行阐述；代码不要放在报告里面，作为附件提交！

问题分析：

题目要求用二阶多项式函拟合表1数据，并要求拟合曲线经过点（1,4），用最小二乘法估计拟合函数。故下面介绍多项式最小二乘法数据拟合问题。

（一）数据拟合问题

        拟合问题的目标是追求一个函数（曲线），使得该曲线在某种准测下与所有的数据点最为接近，它通过最小化拟合函数与观测数据之间的误差来找到最佳拟合参数。在数据拟合中，我们通常有一组离散的数据点，我们希望找到一个函数或模型，以最佳方式逼近这些数据点。最小二乘法是一种常用的数据拟合方法，它通过最小化观测数据与拟合函数之间的残差平方和来确定最佳拟合参数。

        常用的几个基本的拟合函数有：多项式函数、三角函数、指数函数...

 

（二）最小二乘法约束问题

1. 最小二乘法

1.1问题定义

由于各种误差，难以求得满足问题条件的一组解（无法通过现有数据拟合出一条过所有数据的线或超平面）的问题。

1.2解决方案

对于最小二乘法，核心的解决方案就是寻找该问题的近似解。并尽可能逼近原问题的目标，使残差向量在某种度量下尽可能小。最小二乘问题数学模型化：

 

3.最小二乘法约束KKT问题

3.1求解

求解步骤如下： 

 

3.2.2 QR分解求解

3.2.3

        lsqlin 函数用于解决形式为 C*x = d 的线性等式约束下的最小二乘问题 min ||A*x - b||。options 变量用于指定优化算法，这里选择 'trust-region-reflective' 算法，因为我们有等式约束。

 

（三）问题解决

1.模型建立

1.1问题描述：

        附件“FittingData”的样本数据如下表1所示，x、y分别表示输入与输出数据之间的对应关系。用一元二次函数拟合表1数据，并要求拟合曲线经过点（1,4），用最小二乘法估计拟合函数F（x）。

 

2.实验结果

2.1 LU分解求解最小二乘法约束问题的解

2.2 QR分解求解最小二乘法约束问题的解

2.3lsqlin函数

        lsqlin是 MATLAB 中的一个函数，用于解决线性最小二乘问题，同时允许用户设定线性等式和不等式约束。这个函数适用于当你需要找到一个解，使得一个线性系统 Ax ≈ b 的误差 ||Ax - b|| 最小，同时该解还需满足一些附加的线性等式 Cx = d 和/或线性不等式 Ex ≤ f 约束条件的情况，lsqlin 函数的基本语法如下：

x = lsqlin(C,d,A,b,Aeq,beq,lb,ub,x0,options)

其中：C 是系数矩阵，与 x 相乘得到目标向量。d 是目标向量，是你希望 Cx 尽可能接近的向量。A 和 b 是线性不等式约束，即 A*x ≤ b。Aeq 和 beq 是线性等式约束，即 Aeq*x = beq。lb 和 ub 是解的下界和上界，分别表示每个元素的最小值和最大值。x0 是优化问题的初始点。options 是控制算法行为的选项，例如算法类型、容忍度、迭代次数限制等。

        lsqlin 使用不同的算法来解决这些问题，具体取决于问题的性质和用户提供的选项。主要算法包括：（1）大规模算法：当问题的规模很大或者指定使用大规模算法时，lsqlin 使用的是基于信赖域反射法，它适用于只有边界或等式约束的情况，不适用于有不等式约束的问题。（2）中等规模算法：对于中等大小的问题或者当指定使用中等规模算法时，lsqlin 可以使用基于活动集的算法，这种算法适合处理同时存在等式和不等式约束的问题。

综上，三种方法均能有效的拟合出函数。 

3.效率对比

3.1拟合效果评价指标

（四）总结

        本实验通过最小二乘法约束问题解决了数据拟合问题，通过分析三个求解算法，发现QR的效率最快，最稳定。在实际求解过程中，通过验证线性方程组的解的存在和唯一性，以及证明矩阵 X 列线性无关，C 行线性无关，确保了 QR 分解法的可行性。

        对于等式约束的最小二乘问题，可以使用矩阵的 LU 分解来求解等式约束形成的线性系统。但是，对于不等式约束或边界约束，LU 分解通常不直接适用。

        QR 分解是解决有约束最小二乘问题的更佳选择。使用 lsqlin 函数或类似工具时，内部实现可能包括将问题转化为一个等效的无约束问题，然后应用 QR 分解。对于不等式和等式约束，可以结合使用 QR 分解和其他优化算法（内点方法或活动集方法）。

        总之，LU 分解可能更适合无约束或纯等式约束的问题，而 QR 分解则适用于更广泛的情况，尤其是当问题包含不等式约束时。QR 分解通常是更稳定、更可靠的选择。在实际应用中，通常通过数值优化库（如 MATLAB 中的 lsqlin）来解决约束最小二乘问题，这些库会根据问题的特点选择最合适的数值方法。

四、小结（可含个人心得体会）

        在本次实验中，我学习掌握了多种求解最小二乘法约束问题的方法，并实践解决了数据拟合的问题，同时探究了数据拟合的模型优化，掌握数学符号描述问题，设计算法求解模型。实验过程中我查阅了很多资料，最终成功的完成了本次实验。