第四讲：拟合算法

与插值问题不同，在拟合问题中不需要曲线一定经过给定的点。拟合问题的目标是寻求一个函数(曲线)使得该曲线在某种准则下与所有的数据点最为接近，即曲线拟合的最好(最小化损失函数)。

插值算法中，得到的多项式f(x)要经过所有样本点。但是如果样本点太多，那么这个多项式次数过高，会造成龙格现象。
尽管我们可以选择分段的方法避免这种现象，但是更多时候我们更倾向于得到-个确定的曲线，尽管这条曲线不能经过每一个样本点，但只要保证误差足够小即可，这就是拟合的思想。(拟合的结果是得到一个确定的曲线)

拟合算法是用于寻找一个函数或数学模型，使其尽可能地接近给定的数据点集合。以下为您介绍几种常见的拟合算法：

1. 线性回归：假设数据符合线性关系，即通过一条直线来拟合数据。目标是找到最佳的直线方程 y = mx + b ，使得数据点到直线的距离之和最小。

2. 多项式回归：使用多项式函数来拟合数据。可以是二次、三次或更高次的多项式，通过最小化误差函数来确定多项式的系数。

3. 非线性回归：当数据不能用线性或简单多项式模型很好地拟合时，采用非线性函数，如指数函数、对数函数等。通过优化算法来找到这些函数的最佳参数。

4. 最小二乘法：这是一种广泛应用的拟合方法，旨在使观测值与拟合值之间的残差平方和最小。

5. 支持向量回归（SVR）：基于支持向量机的原理，通过寻找一个超平面，使得数据点尽可能地分布在其两侧的一个特定范围内。

6. 决策树回归：通过构建决策树来对数据进行拟合，每个叶子节点对应一个预测值。