关闭

预测数值型数据:回归(一)

标签: 数据机器学习
1682人阅读 评论(0) 收藏 举报
分类:

  机器学习算法的基本任务就是预测,预测目标按照数据类型可以分为两类:一种是标称型数据(通常表现为类标签),另一种是连续型数据(例如房价或者销售量等等)。针对标称型数据的预测就是我们常说的分类,针对数值型数据的预测就是回归了。这里有一个特殊的算法需要注意,逻辑回归(logistic regression)是一种用来分类的算法,那为什么又叫“回归”呢?这是因为逻辑回归是通过拟合曲线来进行分类的。也就是说,逻辑回归只不过在拟合曲线的过程中采用了回归的思想,其本质上仍然是分类算法。
  假如我们要预测某一地区的房价,我们可能会列出以下的式子进行估计:
  
                   房价 = 0.7 * 面积 + 0.19 * 房子的朝向
  
   这个简单的式子就叫回归方程,其中0.7和0.19称为回归系数,面积和房子的朝向称为特征。有了这些概念,我们就可以说,回归实际上就是求回归系数的过程。在这里我们看到,房价和面积以及房子的朝向这两个特征呈线性关系,这种情况我们称之为线性回归。当然还存在非线性回归,在这种情况下会考虑特征之间出现非线性操作的可能性(比如相乘或者相除),由于情况有点复杂,不在这篇文章的讨论范围之内。
  简便起见,我们规定代表输入数据的矩阵为X (维度为m*n,m为样本数,n为特征维度),回归系数向量为 θ(维度为n*1)。对于给定的数据矩阵X ,其预测结果由:Y=Xθ 这个式子给出。我们手里有一些现成的x和y作为训练集,那么如何根据训练集找到合适的回归系数向量θ是我们要考虑的首要问题,一旦找到θ,预测问题就迎刃而解了。在实际应用中,我们通常认为能带来最小平方误差的θ就是我们所要寻找的回归系数向量。平方误差指的是预测值与真实值的差的平方。采用平方这种形式的目的在于规避正负误差的互相抵消。所以,我们的目标函数如下所示:   

minθi=0m(yixTiθ)2

  这里的m代表训练样本的总数。对这个函数的求解有很多方法,由于网络上对于详细解法的相关资料太少,下面展示一种利用正规方程组的解法:
这里写图片描述 (1)
这里写图片描述       AtrAB=BT(2)
  针对上式不太清楚的朋友可以看我之前写的这篇博文:http://blog.csdn.net/qrlhl/article/details/47758509。根据以上式子,解法如下:

这里写图片描述

  令其等于0,即可得:θ=(XTX)1XTy 。有一些需要说明的地方:第三步是根据实数的迹和等于本身这一事实推导出的(括号中的每一项都为实数),第四步是根据式(2)推导出来的。第五步是根据式(1)推导出来的,其中的C为单位矩阵I。这样,我们就得到了根据训练集求得回归系数矩阵θ的方程。这种方法的特点是简明易懂,不过缺点也很明显,就是XTX 这一项不一定可以顺利的求逆。由于只有满秩才可以求逆,这对数据矩阵X提出了一定的要求。有人也许会问XTX不是满秩的情况下怎么办?这个时候就要用到岭回归(ridge regression)了,这一部分留到下次再讲。
  说了这么久,放一张图上来看看线性回归的效果:

这里写图片描述
  
  可以看到,直线较好的拟合了数据点的变化趋势,可以作出相对较好的预测。但是细心的朋友可能会发现,如果在数据点的每一段用一小段直线拟合也许会获得更加好的结果,就像这样:
  
            这里写图片描述

  这种方法叫做局部加权线性回归(Locally Weighted Linear Regression,LWLR),关于这种方法的细节,我们下次再说。

1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

《机器学习实战》预测数值型数据-回归(Regression)

本文转载自:http://blog.csdn.net/gamer_gyt/article/details/51405251 1:用线性回归找到最佳拟合曲线             回...
  • chivalrousli
  • chivalrousli
  • 2016-09-08 19:34
  • 3096

logistic regression (逻辑回归实验数据)

  • 2014-12-16 21:14
  • 4KB
  • 下载

预测数值型数据:回归

主要有:线性回归、局部加权线性回归、岭回归和逐步线性回归。 1、用线性回归找到最佳拟合直线 优点:结果易于理解,计算不复杂 缺点:对非线性的数据拟合不好 使用数据类型:数值型和标称型数据 回...
  • qq_34385827
  • qq_34385827
  • 2017-08-30 10:28
  • 152

《机器学习实战》预测数值型数据-回归(Regression)

回归的一般方法: (1)收集数据:采用任意方法收集数据 (2)准备数据:回归需要数值型数据,标称型数据将被转化成二值型数据 (3)分析数据:绘出数据的可视化二维图将有助于对数据做出理解和分析,在采用缩...
  • Gamer_gyt
  • Gamer_gyt
  • 2016-05-14 18:33
  • 7631

机器学习 标称型和数值型概念

参考: 《Machine Learning in Action》第一部分 分类 ######################################################...
  • u012005313
  • u012005313
  • 2015-10-15 13:34
  • 12689

标称型数据和数值型数据

在学习机器学习的工程中,发现有一种名为标称型的数据,具体如下: 标称型:一般在有限的数据中取,而且只存在‘是’和‘否’两种不同的结果(一般用于分类) 数值型:可以在无限的数据中取,而且数值比较...
  • qq_17478541
  • qq_17478541
  • 2017-09-19 10:35
  • 1390

机器学习 标称型和数值型概念

机器学习 标称型和数值型概念 标签: <a href="http:...
  • zhangleaimeiling
  • zhangleaimeiling
  • 2017-09-19 10:50
  • 623

《机器学习实战》预测数值型数据-回归(Regression)

回归的一般方法: (1)收集数据:采用任意方法收集数据 (2)准备数据:回归需要数值型数据,标称型数据将被转化成二值型数据 (3)分析数据:绘出数据的可视化二维图将有助于对数据做出理解和分析,在采用缩...
  • Gamer_gyt
  • Gamer_gyt
  • 2016-05-14 18:33
  • 7631

预测数值型数据:回归

分类的目标变量是标称型数据,而这里将会对连续型的数据作出预测。1.1 用线性回归找到最佳拟合直线 回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。这个公式就是...
  • tonight1103
  • tonight1103
  • 2016-04-25 10:28
  • 517

《机器学习实战》预测数值型数据-回归(Regression)

本文转载自:http://blog.csdn.net/gamer_gyt/article/details/51405251 1:用线性回归找到最佳拟合曲线             回...
  • chivalrousli
  • chivalrousli
  • 2016-09-08 19:34
  • 3096
    个人资料
    • 访问:135064次
    • 积分:1909
    • 等级:
    • 排名:千里之外
    • 原创:57篇
    • 转载:11篇
    • 译文:0篇
    • 评论:120条
    文章分类
    最新评论