动手学深度学习-入门之Day1-最小二乘法

介绍最小二乘法

• 最小二乘法是一种常用的参数估计方法，用于拟合线性模型和解决回归问题。
• 最小二乘法的目标是最小化观测值与模型预测值之间的残差的平方和，即最小化残差平方和来找到最佳拟合线。
• 

原理

• 最小二乘法通过最小化残差平方和来找到最佳拟合直线，使得模型预测值与观测值的差异最小。
• 数学上，最小二乘法通过最小化残差平方和来求解模型参数，通常使用代数方法或者矩阵运算来实现。

应用最小二乘法解决线性回归问题

• 在线性回归问题中，最小二乘法被广泛应用来拟合数据并预测目标变量。
• 通过最小二乘法，我们可以得到回归系数和截距，从而建立线性回归模型。

优缺点

• 优点：简单易懂，计算简便，对线性关系的数据拟合效果好。
• 缺点：对异常值敏感，对非线性关系的数据拟合效果不佳。

数学公式

最小二乘法的目标函数

最小二乘法的目标是最小化残差平方和，通常表示为：

​

其中：

• X 是特征矩阵
• w 是模型参数
• 𝑦 是目标变量

2. 最小二乘法的闭式解

对于线性回归问题，最小二乘法的闭式解可以通过以下公式计算得到：

其中：

• XT 表示矩阵 X 的转置
• (XTX)−1 表示矩阵 𝑋𝑇𝑋 的逆矩阵

3. 残差（Residuals）

残差是观测值与模型预测值之间的差异，通常表示为：

其中：

• 𝑦 是实际观测值
• 𝑦^是模型预测值

4. 残差平方和（Residual Sum of Squares）

残差平方和是残差的平方和，用于衡量模型拟合的好坏，通常表示为：

5. 线性回归模型

线性回归模型可以表示为：

其中：

• y 是目标变量
• w0​ 是截距
• 𝑤1,𝑤2,…,𝑤𝑛是特征的系数
• 𝑥1,𝑥2,…,𝑥𝑛是特征值

python代码示例

环境配置

Pycharm 2023.2.3  Python 3.11 

第三方库:

numpy,matplotlib.pyplot,pandas,skicit-learn

numpy库实现最小二乘法

skicit-learn实现最小二乘法

计算决定系数r2

后言

在数据科学和机器学习领域，掌握最小二乘法是至关重要的基础知识。通过本文的介绍，我们希望读者能够更深入地理解最小二乘法的原理和应用，并将其运用到实际问题中。无论您是正在学习机器学习的新手，还是希望加强对线性回归等基础概念的理解，最小二乘法都是一个不可或缺的工具。

如果您觉得本文对您有所帮助，欢迎分享给更多的朋友和同事。点赞和关注是我们持续创作的动力，也是我们为读者提供更多有价值内容的动力。感谢您的阅读和支持！让我们一起探索数据科学的无限可能性，共同成长!