机器学习之二:线性模型

原创 2018年04月17日 13:16:11

一、基本形式

1)定义

已知示例x,线性模型想要学习一个由属性的线性组合进行预测的函数,可表示为y=wTx+b

2)优势

  1. 线性模型形式简单,易于建模
  2. 可在线性模型的基础上通过引入层级结构或高维映射得到功能更强大的非线性模型
  3. 由于 w 直观的表达了各属性的重要程度,故线性模型具有很好的可解释性

二、线性回归

学习 w,b 的方法:均方误差最小化;
基于均方误差最小化来进行模型求解的方法:最小二乘法;
在线性回归中,最小二乘法就是试图找到一条直线,使得所有样本到直线上的欧氏距离之和最小。

三、对数几率回归

1)定义

使用线性模型做分类任务:找到一个单调可微函数将分类任务的输出与线性回归模型的预测值联系起来。
阶跃函数具有预期的性质但不连续,故需找到一种替代函数。
对数几率函数 y=11+ez 即是替代函数中的一种(该函数也是sigmoid函数族中最重要的代表)。
z代入,可得
y=11+e(wTx+b)
该函数可变形为
lny1y=wTx+b
若将 y 视为 x 作为正例的可能性,1y 作为反例的可能性,则 y1y 称为几率,反映了输入样本x为正的相对可能性。故而上式实际上为用线性回归模型的预测输出逼近真实标记的对数几率,故此模型称为对数几率回归。

2)优势

  1. 直接对分类可能性建模,无需事先假设数据分布
  2. 不仅预测类别,还可得到近似概率预测
  3. 对率函数是任意阶可导的凸函数

四、线性判别分析(LDA)

思想:给定训练样例集,设法将训练样本投影到一条直线上,使得同类样本的投影点尽可能靠近,异类样本的投影点尽可能远离。
当两类数据同先验、满足高斯分布且协方差相等时,LDA可达到最优分类。

五、多分类学习

多分类学习的基本思路是“拆解法”,即将多分类任务拆为若干个二分类任务求解。
通常的拆分方法有三种:一对一、一对其余、多对多(纠错输出码)

六、类别不平衡问题

类别不平衡指分类任务中不同类别的训练样例数目差别很大的情况。假定正例数目较少,反例数目较多,通常有三种解决方案:
1)对反类样例欠采样
2)对正类样例过采样
3)阈值移动
以上三种方案均是基于再缩放(rescaling)的思想得到的。

机器学习之线性模型

-
  • 1970年01月01日 08:00

机器学习 - 线性模型

一.线性回归—LR 线性回归是一种监督学习下的线性模型,线性回归试图从给定数据集中学习一个线性模型来较好的预测输出(可视为:新来一个不属于D的数据,我们只知道他的x,要求预测y,D如下表示)。 首先我...
  • ZK_J1994
  • ZK_J1994
  • 2016-12-12 11:13:29
  • 2389

机器学习(十一) 线性模型

周志华所著《机器学习》第三大章线性模型的读书笔记
  • zmdsjtu
  • zmdsjtu
  • 2016-10-22 15:53:14
  • 2879

机器学习笔记(三)线性模型

3.线性模型 3.1基本形式 线性模型(linearmodel)形式简单、易于建模,如果能把问题都用线性模型来刻画,那现今的世界就单调多了,好在我们的宇宙是如此的丰富,以至于需要通过更强大的非线性...
  • fjssharpsword
  • fjssharpsword
  • 2017-01-17 10:32:30
  • 3659

机器学习Python实现之线性模型

本文将详细解释线性分类的几个常用模型:线性回归、对数回归、对数几率回归,并简要介绍其优化方法。文末附有Python代码实现。如果问题,欢迎留言交流~线性回归(linear regression)模型设...
  • u011606714
  • u011606714
  • 2017-04-24 10:07:41
  • 1473

机器学习(周志华)读书笔记-(三)线性模型

线性模型 线性模型形式简单、易于建模,(如简单的二元一次方程线性函数,复杂的线性函数,多维变量与因变量的关系)却蕴涵着机器学习中的一些重要的基本思想。许多功能更为强大的线性模型可以在线性模型的基础上通...
  • dingyahui123
  • dingyahui123
  • 2017-06-07 16:32:38
  • 1391

周志华 《机器学习》之 第三章(线性模型)概念总结

阅读之后,根据周志华老师对本章节的安排,首先从线性模型的基本形式入手,逐渐引入线性回归、对数几率回归、线性判别分析(LDA)、多分类学习等多种线性模型,最后针对类别不平衡问题总结了一些相关的解决思路 ...
  • lixianjun913
  • lixianjun913
  • 2016-08-12 14:58:43
  • 1853

机器学习中线性模型和非线性的区别

误区 之前一直以为线性和非线性的区别是是否可以用直线将样本划分开 和同学讨论到logistics模型是线性还是非线性的,很难理解!(logistics模型是广义线性模型) 线性模型和非线性模型区别 线...
  • wbcnb
  • wbcnb
  • 2017-10-21 22:21:21
  • 2090

机器学习三人行(系列五)----你不了解的线性模型(附代码)

到目前为止,我们已经将机器学习模型和他们的训练算法大部分视为黑盒子。 如果你经历了前面系列的一些操作,如回归系统、数字图像分类器,甚至从头开始建立一个垃圾邮件分类器,这时候你可能会发现我们只是将机器学...
  • x454045816
  • x454045816
  • 2017-12-26 12:36:43
  • 451

周志华《Machine Learning》学习笔记(4)--线性模型

笔记的前一部分主要是对机器学习预备知识的概括,包括机器学习的定义/术语、学习器性能的评估/度量以及比较,本篇之后将主要对具体的学习算法进行理解总结,本篇则主要是第3章的内容--线性模型。...
  • u011826404
  • u011826404
  • 2016-12-11 15:20:12
  • 1987
收藏助手
不良信息举报
您举报文章:机器学习之二:线性模型
举报原因:
原因补充:

(最多只允许输入30个字)