什么是最小二乘法？

最新推荐文章于 2024-09-26 11:55:47 发布

CM莫问

最新推荐文章于 2024-09-26 11:55:47 发布

阅读量288

点赞数 4

分类专栏：人工智能算法常见概念文章标签：最小二乘法 python 算法机器学习

本文链接：https://blog.csdn.net/ChaneMo/article/details/142391983

版权

人工智能算法常见概念专栏收录该内容

9 篇文章 0 订阅

订阅专栏

一、最小二乘法概念

最小二乘法（Least Squares Method）是一种数学优化技术，它通过最小化误差的平方和来寻找数据与模型之间的最佳拟合，这里的“最小”指的是误差平方和的最小化，“二乘”则是指误差的平方。这种方法在数据分析、统计学、工程学和物理学等领域有着广泛的应用，尤其是在线性回归模型中。

二、最小二乘法原理

最小二乘法的核心思想是选择参数值，使得模型预测值与实际观测值之间的差异（残差）的平方和最小。这种方法假设误差是随机的，并且遵循正态分布。对于一个线性模型，我们可以用以下方程来表示：

$y = \beta _{0}+\beta_{1}x_{1}+\beta_{2}x_{2}+...+\beta_{n}x_{n}+\varepsilon$

其中，y 是因变量（目标变量），x是自变量（特征）， $\beta$ 是模型参数， $\varepsilon$ 是误差项，假设 $\varepsilon$ 的期望值为0。最小二乘法的目标是找到参数 $\beta$ ，使得残差平方和RSS最小：

$RSS = \sum_{i=1}^{m}(y_{i}-\hat{y_{i}})^{2}$

其中：

$\hat{y_{i}} = \beta _{0}+\beta_{1}x_{i1}+\beta_{2}x_{i2}+...+\beta_{n}x_{in}+\varepsilon$

最小二乘法可以通过解析方法求解。我们可以通过求解正规方程（Normal Equations）来找到最优参数：

$X^{T}X\beta = X^{T}y$

上式的X是设计矩阵，其每一行代表一个观测值，每一列代表一个特征，y是目标变量的向量。这里使用numpy库来实现线性回归的最小二乘法：

import numpy as np
import matplotlib.pyplot as plt

# 假设有一组数据点
x = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
y = np.array([1, 2, 1.3, 3.75, 2, 5, 6, 7, 8, 9])

# 增加一个常数项，以便拟合 y = beta_0 + beta_1 * x
X = np.vstack([np.ones(len(x)), x]).T

# 使用正规方程 (Normal Equation) 计算参数 beta
beta = np.linalg.inv(X.T @ X) @ X.T @ y

# 打印计算出的参数
print("参数 beta_0:", beta[0])
print("参数 beta_1:", beta[1])

# 使用计算出的参数来预测
y_pred = X @ beta

# 可视化原始数据点和拟合的直线
plt.scatter(x, y, color='blue', label='Original data')
plt.plot(x, y_pred, color='red', label='Fitted line')
plt.legend()
plt.show()