什么是最小二乘法

最小二乘法（Least Squares Method）是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳拟合函数。在统计学和线性回归中，最小二乘法被广泛应用于拟合数据并建立变量间的关系模型。

下面我们以一个简单的线性回归问题为例来说明最小二乘法的原理。

假设我们有一组数据点：(1, 1), (2, 2), (3, 2), (4, 3)，我们想要找到一条直线 y = ax + b，使得这些数据点到直线的距离之和最小。

首先，我们需要确定误差（error）的度量。在最小二乘法中，误差被定义为实际值与预测值之间的差的平方。即，对于每个数据点 (x_i, y_i)，误差为 e_i = (y_i - (ax_i + b))^2。

我们的目标是找到参数 a 和 b，使得所有数据点的误差平方和最小，即最小化下面的目标函数：

E(a, b) = Σ(y_i - (ax_i + b))^2

为了最小化这个目标函数，我们可以对 a 和 b 分别求偏导数，并令它们等于零：

∂E/∂a = Σ(-2x_i(y_i - (ax_i + b))) = 0

∂E/∂b = Σ(-2(y_i - (ax_i + b))) = 0

通过解这两个方程，我们可以得到适合这组数据点的最佳 a 和 b 值。在这个例子中，a ≈ 0.6，b ≈ 0.5。因此，我们找到的最佳拟合直线为 y = 0.6x + 0.5。

通过最小二乘法，我们找到了一条使得数据点到直线的距离之和最小的直线，从而实现了对数据的拟合。这种方法可以推广到多元线性回归和非线性回归等更复杂的问题。