机器学习故事汇-线性回归算法

原创 2017年08月30日 11:14:37

机器学习故事汇-线性回归算法

咱们的目标】系列算法讲解旨在用最简单易懂的故事情节帮助大家掌握晦涩无趣的机器学习,适合对数学很头疼的同学们,小板凳走起!

今天咱们要来唠的是机器学习中最基本也是最重要的算法之一线性回归,正当此时迪哥正在前往银行的路上,准备办理贷款(低保),到了之后银行问了我两件事,年龄和工资都多少呀?(特征)当得到了结果后告诉我我们只能贷给你100块,别问为什么!机器算的!(机器你拿毛线算的100快?)

这里写图片描述

这个图就是机器如何进行预测的(回归)它会根据一票子兄弟贷款的历史数据(年龄和工资分别对应于X1与X2)找出来最好的拟合线(面)来进行预测,这样你的数据来了之后直接带入进去就可以得出来该给你多少钱了。

这里写图片描述

我们用两个参数来分别对应于工资和年龄,控制它们对结果的影响大小,这里做了一个整合是把偏置项和权重参数项放到了一起(加了个X0让其都等于1)

要想让银行能开的下去,那就得少遇到点麻烦,迪哥这么大碗就给我100块(真实的指标应该为200块)肯定是要砸场子的,所以我们的目标是要让得到的预测值跟真实值越接近越好。

这里写图片描述

既然说到误差了,咱们就来好好唠一下,首先银行的目标得让误差越小越好,这样才能够使得我们的结果是越准确的。那么这个误差有什么规律可循吗?

这里写图片描述

咱们先来说说这个误差为啥会服从高斯分布呢,这个事就得从我们是怎么认为一个事发生的概率来说了,正常情况下你去银行贷款差不多都是一个符合你的数字吧,极小的情况下能出现类似迪哥的情况(100块都不给我),还是极小的情况下能像对待马云似的给你几个亿吧,所以银行给你贷款的误差项理论上都是在较小范围内浮动的,要么多了一点,要么少了一点。所以我们认为该误差是可以服从高斯分布的(正太分布)。

那为啥会独立呢?独立的意思就是说迪哥来贷款了,恰好马云也来了,但是我俩不认识啊(其实他认识我,我不认识他),所以我俩在贷款的时候不会因为马云而对我产生什么影响,也不会因为我对马云产生什么影响,这就是独立!

同分布又是啥呢? 我和马云来的是一家银行吧,这家银行的系统只有一个,所以它在预测的时候是按照同样的方式来的,这就是我们的数据是在同一个分布下去建模的。

这里写图片描述

既然误差服从了高斯分布我们就把它进行展开,上式的意思就是我去贷款,在它这两组参数的控制下得到的贷款金额恰好是等于真实情况下就该给我这么多钱的概率。(预测值和真实值对应的可能性大小)那么我们当然希望这个概率越大越好呀,越大代表越准确呀。

这里写图片描述

(怎么又来了一堆数学。。。没人数学就不是机器学习啦)咱们继续来看,咋又突然出来了个似然函数呀,咱们先来说一说它是个什么东西。比如说你今天去赌场了,然后你不知道能不能赢钱,你就在门口蹲着,出来一个人你就问一下,哥们赢钱了吗(然后挨了一顿揍),连续出来5个人都告诉你赢钱了,那么你就会认为我去赌钱也肯定会赢钱。这个的意思就是要利用样本数据去估计你的参数应该是什么,使得估计出来的参数尽可能的满足(拟合)你的样本。

对数似然 它的意思和目标很简单,就是为了简单求解,所以把比较复杂的乘法运算转换成了比较简单的加法运算。

这里写图片描述
一顿化简,其实就是把原式给展开了,然后我们的目标是要求最大值吧(什么样的参数能够使得跟我数据组合完之后是真实值的概率越大越好),对于化简后的结果左边是一个常数不用去管,右边是一个恒正的(因为有平方项)但是前面还有一个负号呀,让这样的数什么时候能取最大值呀?只有负号后面的取最小值才可以呀

到这里我们终于推导出来了,银行只需要做一件事就可以了,那就是最小化这个函数(目标函数),其实说白了就是要让我们的预测值和真实值之间的差异越小越好,这就是最小二乘法!
这里写图片描述
接下来就是如何求解呢?通常我们去求偏导就可以了,因为极值点通常都是在偏导处取得,对我们的目标函数求偏导,并且让其等于0,这样我们就能找到最终参数的解应该是什么了!到这里小伙伴们可能感觉到竟然真能求出这个解,那这个解不就是我们想要的参数嘛,得到了它银行就有救啦!

至此我们通过了一系列的推导得出了线性回归的最终解法,但是这个解可以说是数学上的一个巧合,并不是所有问题都可以直接求解的,下回咱们再谈谈如何间接的求最优解~

更多精彩内容可以关注公众号:数据先锋(data_pioneer)
我的所有文章以及案例实战(数据和代码)都在公众号中可以找到,感谢各位同学收看!(转载请在公众号中联系我)

有任何问题欢迎随时与我私信讨论,微博:迪哥有点愁

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习方法:回归(一):线性回归Linear regression

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。开一个机器学习方法科普系列:做基础回顾之用,学而时习之;也拿出来与大家分享。数学水平有限,只求易懂,学习与工作...
  • xbinworld
  • xbinworld
  • 2015年03月19日 22:18
  • 33884

对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 ...
  • viewcode
  • viewcode
  • 2013年04月17日 16:33
  • 237312

线性回归

线性回归(Linear Regression)@author : duanxxnj@163.com对于一个的拥有mm个观测的训练数据集XX而言,回归的目的就是要对新的nn维输入xx,预测其对应的一个或...
  • daunxx
  • daunxx
  • 2016年06月03日 10:22
  • 4279

线性回归最小二乘法和梯度下降法

问题描述首先我们定义问题,线性回归要解决的问题就是根据给出的数据学习出一个线性模型。 例如我们最常说的身高和体重的关系,以及房屋面积和房价的关系,这里给出一个瑞典汽车保险数据集 数据集 可以直接复...
  • y990041769
  • y990041769
  • 2017年04月07日 17:25
  • 2257

线性回归原理和实现基本认识

一:介绍        线性回归在假设特证满足线性关系,根据给定的训练数据训练一个模型,并用此模型进行预测。先举个简单的例子;我们假设一个线性方程 Y=2x+1, x变量为商品的大小,y代表为销售量;...
  • lisi1129
  • lisi1129
  • 2017年04月28日 17:04
  • 2033

贝叶斯线性回归(Bayesian Linear Regression)

在很多的机器学习或数据挖掘的问题中,我们所面对的只有数据,但数据中潜在的概率密度函数是不知道的,其概率密度分布需要我们从数据中估计出来。想要确定数据对应的概率密度分布,就需要确定两个东西:**概率密度...
  • daunxx
  • daunxx
  • 2016年06月21日 09:50
  • 23222

机器学习系列(1)_逻辑回归初步

1、总述 逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来     要说逻辑回归,我们...
  • yaoqiang2011
  • yaoqiang2011
  • 2015年10月14日 13:18
  • 72002

机器学习入门:线性回归及梯度下降

本文会讲到: (1)线性回归的定义 (2)单变量线性回归 (3)cost function:评价线性回归是否拟合训练集的方法 (4)梯度下降:解决线性回归的方法之一 (5)featu...
  • xiazdong
  • xiazdong
  • 2012年09月06日 11:33
  • 107459

sklearn系列之----线性回归

原理线性回归,原理很简单,就是拟合一条直线使得损失最小,损失可以有很多种,比如平方和最小等等; y是输出,x是输入,输出是输入的一个线性组合。 系数矩阵就是coef,截距就是interce...
  • Gavin__Zhou
  • Gavin__Zhou
  • 2015年12月27日 15:13
  • 12093

线性回归

在给定由d个属性描述的示例x=(x[1]; x[2];…x[d]),其中xi为样本x在第i个属性上的取值,线性模型试图学得一个属性的线性组合来进行预测的函数,即        f(x) =w1 x[1...
  • WOJIAOSUSU
  • WOJIAOSUSU
  • 2017年03月05日 19:02
  • 358
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习故事汇-线性回归算法
举报原因:
原因补充:

(最多只允许输入30个字)