线性回归——最小二乘法的不同理解

本文探讨了机器学习中最小二乘法的应用,从几何角度解释了为何寻找参数使误差平方和最小,以及如何从概率视角(频率学派)理解,结合高斯噪声和最大似然。文章还提及了贝叶斯学派的不同处理方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 写在前面

最近在上机器学习中的数学这门课。虽然前面的矩阵部分与我大学四年学习的线性代数部分有较大重合部分,但是这门课让我更好认识到向量和矩阵的实际应用情况,解决了很多为什么的问题,而不是为了刷题。在这里,我更了解到了最小二乘法在线性回归中的由来,与此同时结合我之前了解到的高斯噪声和最大似然,我发现了很有意思的一点。

2. 几何视角

假设有(x_1,y_1), (x_2,y_2), (x_3,y_3)......(x_n,y_n), 如果我们要线性拟合这些点,那么我们用最小二乘法可以有argmin\sum_{i=1}^{n}(\beta_0+\beta_1x_1+...+\beta_nx_n-y_i)^2,我们需要找到一组参数使得该式达到最小。我们不妨把该式写成这样的形式:

(AX-y)^T(AX-y)

注意上式,A是输入矩阵而X是参数\beta_i组成的列向量,y是输出组成的列向量。因此我们需要找到X,使上式达到最小,求解如下:

### 多元线性回归最小二乘法的关系及应用 #### 多元线性回归原理 多元线性回归是一种用于预测具有多个自变量的变量值的线性回归模型。该方法能够处理多维数据集中的复杂关系,并通过建立一个或多个独立变量\(X\)与因变量\(Y\)之间的线性联系来实现预测功能[^1]。 对于给定的数据点\((x_1, y), (x_2, y)...,(x_n,y)\),其中每个\(x_i=(x_{i1},...,x_{ip})\)代表p个特征向量,而对应的\(y\)则是目标响应值,则可以通过构建如下的数学形式表示这种关联: \[ Y = \beta_0+\sum^{P}_{j=1}\beta_j X_j + e \] 这里,\(\beta_0,...,\beta_p\)为待估计系数,e 表示误差项。 #### 最小二乘法原理 为了找到最佳拟合直线,在实际操作过程中通常采用最小化残差平方和的方式来进行参数优化,即所谓的“最小二乘法”。具体来说就是寻找一组最优权重使得所有样本到这条直线上距离之和达到最小化: \[ min_\beta SSE=\min_\beta{\sum^n_{i=1}(y_i-\hat{y}_i)^2} \] 在这个公式里:\(SSE\)指的是总平方误差;\(n\)是观测数量;\(y_i\)对应真实标签;\(\hat{y}_i\)则指代由当前模型计算得出的结果[^3]。 当涉及到两个以上的输入特性时(比如三维空间内的坐标),上述过程同样适用——只需扩展成相应的高维度矩阵运算即可完成求解工作。 #### 应用场景 这两种技术广泛应用于各个领域内涉及定量分析的任务当中,例如经济学研究中的人均收入水平影响因素评估、医学统计里的疾病风险预测以及市场营销活动中顾客购买行为模式挖掘等方面都离不开它们的支持。 #### 区别与联系 尽管两者紧密相连,但仍存在一定差异: - **目的不同**:前者旨在描述并量化各属性间存在的内在规律;后者侧重于提供一种有效的手段去衡量这些关系的好坏程度。 - **侧重点各异**:多元线性回归更强调理论框架搭建及其解释能力;相反地,最小二乘法则聚焦于具体的算法设计和技术细节实施上[^2]。 然而值得注意的是,二者并非孤立存在而是相辅相成的整体部分——最小二乘法作为最常用的损失函数之一被用来指导多元线性回归建模过程中的参数调整方向,从而确保最终获得的理想化的解析表达式能最大程度贴近实际情况的需求。 ```python import numpy as np from sklearn.linear_model import LinearRegression # 创建模拟数据集 np.random.seed(0) X = 2 * np.random.rand(100, 1) y = 4 + 3 * X + np.random.randn(100, 1) # 构造并训练模型 lin_reg = LinearRegression() lin_reg.fit(X, y) print(f'Intercept: {lin_reg.intercept_[0]}') print('Coefficients:', lin_reg.coef_) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值