线性回归模型 Linear Models for Regression

线性回归模型理解

线性回归模型

找到一条连续的线(线性方程),能够最大程度的拟合所有的点

  • 如果点是二维,那么就只有 y , x 1 y,x_1 y,x1
  • 如果是三维,那么有 y , x 1 , x 2 y,x_1,x_2 y,x1,x2
  • 以此类推
  • 也可以让 x 1 = w 2 = w M x_1=w_2=w_M x1=w2=wM。即,并不严格限制方程中的 x x x与数据点的维度数量对应。
    在这里插入图片描述
    其中Basis function可以是多项式,高斯函数,Sigmoid函数等
    在这里插入图片描述
    只要找到一组参数(也就是线性方程每一项上的系数,即 w M w_M wM)能让损失函数的值最小,那这一组参数就能最好的拟合当前的训练数据

最大程度拟合

使损失函数最小

损失函数

所有点的输出和预期输出相减的平方和(系数只是为了后面方便计算)
在这里插入图片描述

如何找到损失函数最小值

如果损失函数为凸函数,那么根据凸函数的定义可知,任何局部最小值都是整个凸函数的最小值。

  • 将所有点代入函数,得到最终的损失函数方程。
  • 对损失函数各轴求偏导数,使偏导数为0,得到方程组
  • 对方程组求解,得到所有系数 w M w_M wM
  • 将系数代入原方程,得到最佳拟合方程。

计算公式

  • 选择basis function ϕ ( x ) \phi(x) ϕ(x)
  • 选择basis function 的数量 n
  • 计算 w w w,公式如下:
    在这里插入图片描述
  • Φ \Phi Φ表示 ϕ i ( x ) \phi_i(x) ϕi(x)的值构成的矩阵
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值