【最小二乘法：线性回归应用】

一、什么是最小二乘法？

最小二乘法的目标是找到一组参数，使得线性模型的预测值与观测数据点之间的误差平方和最小化。对于简单的线性回归模型，可以表示为：

$$Y={\beta }_0+{\beta }_{1}X+ϵ$$

其中，$Y$ 是因变量（目标变量），$X$ 是自变量（特征），${\beta }_0$ 是截距，${\beta }_1$ 是斜率，$ϵ$ 是误差项。

二、最小二乘法的原理

最小二乘法的核心思想是最小化损失函数，损失函数通常定义为残差的平方和：

$$L({\beta }_0,{\beta }_1)=\sum _{i=1}^n(Y_i-({\beta }_0+{\beta }_1{X}_i){)}^2$$

最小二乘法的关键是找到使损失函数最小化的 ${\beta }_0$ 和 ${\beta }_1$。这可以通过求偏导数并令其等于零来实现。最终，我们得到了最佳拟合直线的公式：

$$\hat{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}X$$

三、使用Scipy进行最小二乘法

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit

# 生成随机数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
Y = 4 + 3 * X + np.random.randn(100, 1)

# 定义线性模型
def linear_model(X, beta_0, beta_1):
    return beta_0 + beta_1 * X

# 利用Scipy的curve_fit函数拟合数据
params, covariance = curve_fit(linear_model, X.ravel(), Y.ravel())
beta_0, beta_1 = params

# 绘制数据点
plt.scatter(X, Y, label='Data')

# 绘制拟合线
plt.plot(X, linear_model(X, beta_0, beta_1), color='red', linewidth=2, label='Linear Fit')

plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.show()

# 输出拟合参数
print("截距:", beta_0)
print("斜率:", beta_1)

通过Scipy的curve_fit函数拟合数据并绘制拟合结果。