ML:线性回归

什么是线性回归?

线性回归模型就是指因变量和自变量之间的关系是直线型的。类似于一元线性回归:y=wx+b

给定一组数据集D:\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)))\},

它的线性组合函数为y(i)=f(x_i)=w_1x_{i1}+w_2x_{i2}+...+w_nx_{in}+b

参考链接:线性回归预测法

什么是损失函数?

损失函数:衡量预测值与真实值之间的误差。一般采用均方误差

loss^{i}(w,b)=l^{i}(w,b)=\frac{1}{2}(\hat{y}_i-y_i),其中\hat{y}_i为线性回归求解的值,y_i为实际值

整体的均方误差为L(w,b)=\frac{1}{n}\sum_{n}^{i=1}l^{i}(w,b)=\frac{1}{n}\sum_{n}^{i=1}\frac{1}{2}(\hat{y_i}-y_i)=\frac{1}{n}\sum_{n}^{i=1}\frac{1}{2}(w^{T}x_i+b-y_i)

其中w=(w_1,w_2,...,w_n),x_i=(x_{i1},x_{i2},...,x_{in})^{T}

什么是优化函数?

上面所说的线性函数以及损失函数,相对来说比较简单,这类预测求解的称为解析解(analytical solution)。涉及到较复杂层面,比如深度学习,我们一般通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解(numerical solution)。

推荐链接:如何理解随机梯度下降

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值