西瓜书学习笔记三

原创 2018年04月16日 17:42:06

第三章 线性模型

3.1 基本形式

  • f(x) = ω1 X1 + ω2 X2 十...+ωdXd + b , 也可以写成:f(x)=w的转置矩阵*x+b   w就是反映各部分重要程度的权值,so线性结构有很好的可理解性(也叫可解释性)
  • 许多功能强大的非线性模型可以在线性模型的基础上通过引入层级结构或者高位映像得到

3.2 线性回归--"线性回归" (linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记.

对于离散属性,如果属性值之间存在序的关系(这里的序的关系暂且不是太明白,貌似是离散数学中的,没有找到相关解释,mark一下),可以通过连续化,将其转换为连续的。例如,高和矮,可以转换为{1.0,0.0},如果不含有序的关系,则可以转换成k维向量,例如瓜的取值为西瓜,南瓜,冬瓜,就可以变为:(1,0,0)(0,1,0)(0,0,1).

线性回归的目的就是学习w,b使得f(x)尽量的贴合y的值,所以关键就在于如何衡量f(x)和y之间的误差了。

使用均方差最小化的过程就是最小二乘法,即找到一根直线,使得所有的点到直线的欧式距离(在二维和三维空间中的欧氏距离就是两点之间的实际距离)和最短。

另外,线性回归就是为了让f(x)逼近y,那么,有的时候可以将f(x)逼近y 的衍生物而不是y来解决一些非线性的问题。例如,设我们认为示例所对应的输出标记是在指数尺度上变化,那就可将输出标记的对数作为线性模型逼近的目标, 即lny = wTx +b ,它实际上是在试图让e的wTx次方+b逼近y ,虽然在形式上仍是线性回归,但实质上已是在求取输入空间到输出空间的非线性函数映射。

更一般地,考虑单调可微函数g()g(·),令 

y=g1(wTx+b)y=g−1(wTx+b)

这样得到的模型称为“广义线性模型”,其中函数g()g(·)称为“联系函数”(link function)。显然,对数线性回归是广义线性模型在g()=ln()g(·)=ln(·)时的特例。

3.3 对数几率回归

  • 利用上述的广义线性模型,我们也可以解决分类为问题。分类问题输出的是离散的值,例如二分类问题,输出的是0,1.那么我们就可以找一个可微单调函数,使得分类任务的真实标记y与线性回归模型的预测值联系起来。
  • 这时候可以选取阶跃函数。然而这并不连续,所以找一个跟他长得很像的连续的,就是sigmoid函数(是长得像s的函数中的一个重要代表)。
  • 下面就开始用对数几率函数进行w和b的推导了,推导的数学过程看不懂,所以跳过。

3.4 线性判别分析LDA

  • LDA 的,思想非常朴素: 给定训练样例集7 设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.
  • 若将W 视为一个投影矩阵,则多分类LDA 将样本投影到N-1 维空间,N-1 通常远小子数据原有的属性数.于是,可通过这个投影来减小样本点的维数,且投影过程中使用了类别信息,因此LDA也常被视为一种经典的监督降维技术
  • 中间用来推导的都省略,数学不好真的看不懂……要命

西瓜书学习笔记(二)

啊啊啊啊啊,昨天本来第二章写了不少内容,但是不知道CSDN的Markdown编辑器是不会自动保存的,中途发别的博客会把之前编辑的也给覆盖掉,这一章就简单写点吧。第二章 模型评估与选择2.1 经验误差与...
  • Cyril__Li
  • Cyril__Li
  • 2017-04-25 18:49:19
  • 509

机器学习入门(西瓜书笔记)

机器学习入门基础概念 1.机器学习是干什么的? 2.基本术语
  • qq_33067361
  • qq_33067361
  • 2017-10-19 14:33:01
  • 395

《机器学习》(西瓜书) 随笔

ML大牛请绕道请无视。               那天当当有满减活动,实验室一学弟说他想买《机器学习》,我问是哪本,答曰南大周志华那本“西瓜书”,说其同学向他推荐的。我表示不屑,咋从没听过?机器学...
  • ychinata
  • ychinata
  • 2016-09-04 16:11:39
  • 13147

西瓜书学习笔记(一)

这本书一共16章,大体分为三部分: 第一部分:1-3章,介绍机器学习基础知识 第二部分: 4-10章,介绍经典而常用的机器学习方法 第三部分:11-16章,介绍一些进阶知识 其中前三章之后各部分内容...
  • Cyril__Li
  • Cyril__Li
  • 2017-04-24 16:42:03
  • 2053

西瓜书学习笔记——(1)绪论

前言之前由于机器学习,人工智能,数据分析大火,为了顺应时代,于是找了几个国外的视频网站看了点相关的讲解,但由于本人英语水平有限,看起来太吃力,而且当时也没有Python的基础,听得晕头转向的。然后就买...
  • alistair_chow
  • alistair_chow
  • 2017-08-18 17:23:15
  • 799

prolog2

探索PrologProlog在英语中的意思就是Programming in LOGic(逻辑编程)。它是建立在逻辑学的理论基础之上的, 最初是运用于自然语言的研究领域。然而现在它被广泛的应用在人工...
  • rkhstar
  • rkhstar
  • 2011-04-21 00:36:00
  • 476

西瓜书学习之路

前段时间开始学习周志华老师的《西瓜书》,许多问题都是参考这篇大神的博客点击打开链接 这份课后习题答案无论是数学推导还是matlab仿真都写的很到位,从中学习到了许多。 目前学到了第11章的知识,附...
  • whut_ldz
  • whut_ldz
  • 2018-01-13 17:26:03
  • 230

基本术语(告诉你西瓜书为什么叫西瓜书)

为什么这本《机器学习》,封面会有很多西瓜? 为什么要叫他西瓜书? 就因为封面是西瓜?...
  • macro_xjq
  • macro_xjq
  • 2017-12-18 23:54:06
  • 4630

深度学习、机器学习资源分享

2014斯坦福机器学习视频 百度云链接: https://pan.baidu.com/s/10XxZi99S7VyvWt67lZ3CPg 密码: 3i78 深度学习机器学习基础教程 百度云链...
  • Hanging_Gardens
  • Hanging_Gardens
  • 2017-07-20 10:04:03
  • 3894

【西瓜书】决策树

决策树的划分选择,连续值处理以及缺失值处理
  • u011607316
  • u011607316
  • 2017-04-25 01:08:20
  • 1044
收藏助手
不良信息举报
您举报文章:西瓜书学习笔记三
举报原因:
原因补充:

(最多只允许输入30个字)