【IM】关于最小二乘法及约束的理解

最小二乘法是对以实向量x为输入、实数y为输出的函数y=f(x)的学习问题。对于机器学习来说,关键就是构建一个f模型,然后设定求解目标,通过训练样本来求解。一个机器学习算法,关系模型、求解目标、求解方法。

这里的重点是如何理解正交投影矩阵在SVD中的去噪解释,暂时没有更深入分享,后面有这方面总结在加以说明。

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于多元线性回归问题,我们可以使用最小二乘法来拟合模型。最小二乘法是一种数学优化方法,用于寻找一组参数,使得模型预测值与实际观测值之间的平方误差最小。 假设我们有 $n$ 个观测样本,每个样本有 $m$ 个特征变量和一个目标变量。我们可以将每个样本表示为一个 $m+1$ 维列向量 $\boldsymbol{x}_i = [1, x_{i1}, x_{i2}, ..., x_{im}]^\top$,其中 $1$ 表示截距项。我们还可以将目标变量表示为一个 $n$ 维列向量 $\boldsymbol{y} = [y_1, y_2, ..., y_n]^\top$。 我们的目标是寻找一个 $m+1$ 维参数向量 $\boldsymbol{\beta} = [\beta_0, \beta_1, \beta_2, ..., \beta_m]^\top$,使得对于任意的观测样本 $\boldsymbol{x}_i$,模型的预测值 $\hat{y}_i = \boldsymbol{x}_i^\top \boldsymbol{\beta}$ 与实际观测值 $y_i$ 之间的平方误差最小。即: $$\min_{\boldsymbol{\beta}} \sum_{i=1}^n (\hat{y}_i - y_i)^2$$ 我们可以将上式展开,得到: $$\min_{\boldsymbol{\beta}} \sum_{i=1}^n (\boldsymbol{x}_i^\top \boldsymbol{\beta} - y_i)^2$$ 这是一个关于 $\boldsymbol{\beta}$ 的二次函数,可以通过求导数为零的方式求解最优解。具体来说,最小二乘法的求解过程如下: 1. 构造设计矩阵 $\boldsymbol{X}$,其中每一行为一个观测样本的特征向量;构造目标向量 $\boldsymbol{y}$。 2. 求解参数向量 $\boldsymbol{\beta}$,使得残差平方和最小化。即 $\boldsymbol{\beta} = (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top \boldsymbol{y}$。 3. 计算模型的预测值 $\hat{\boldsymbol{y}} = \boldsymbol{X} \boldsymbol{\beta}$。 以上就是使用最小二乘法拟合多元线性回归模型的步骤。在实际应用中,我们可以使用 Python 的 NumPy 库来实现这些计算。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值