机器学习入门(二)—— 单变量线性回归

入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。

一、符号规定

  • m: 表示训练集的样本的数量;
  • x: 表示输入变量(特征量),表示输入的特征;
  • y: 表示输出变量(目标变量),也就是我们的预测结果;
  • (x,y):表示一个训练样本;
  • (x(i),y(i)):为了表示每个训练样本,我们使用x上标(i)和y上标(i)来表示,表示第i个训练样本,i只是一个索引,表示训练集里面的第i行, 并不是x和y的i次方;
  • h:(hypothesis)假设函数,输入x,输出y,h是一个从x到y的函数映射。

二、线性回归模型(h(x))

单变量线性回归的模型公式:


三、代价函数

在线性回归中,我们有一个训练集。我们要做的是得出Ɵ0和Ɵ1,使我们得到的假设函数表示的直线尽量的与这些数据点相拟合。但是我们要如何选择Ɵ0和Ɵ1呢?我们的想法是选择能够使h(x),也就是输入x是我们的预测的值,最接近该样本对应的y值的参数Ɵ0和Ɵ1。

抽象的说:在线性回归问题中,我们要解决的是一个最小化的问题,写出关于Ɵ0和Ɵ1的最小化式子,让h(x)和y之间的差异最小。

代价函数(平方误差函数)公式:

 如果没有那个1/2,其实就是方差公式,加上了1/2是为了方便计算

就此,我们的目标转化为

 如何求得Ɵ0和Ɵ1是为关键


四、梯度下降

我们来看下面这张图方便待会理解

如果我们想要从A点开始找到最快的J值减少方向(梯度下降方向),就像是想最快速度下山,那可以走图中黑色路径(注:起点不同路径不同)

 具体公式

其中:=是赋值,α是学习率(即下山时走一步有多远)

α太小的话步伐太小需要很长的时间才能走下山,α太大的话梯度下降可能会越过最低点,甚至可能无法收敛

梯度下降算法不仅可以最小化线性回归函数J,还可以最小化其他函数。

最小化代价函数不一定要使用梯度下降算法,还有另一种算法——正规方程法(normal equation method),但梯度下降算法更加适用于大的数据集。

对于单变量线性回归,这里应用的思想是最小二乘法。


  • 4
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tt丫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值