机器学习(十五)——生成学习算法(Generative Learning algorithms)

标签: machine learning
6人阅读 评论(0) 收藏 举报
分类:

原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf

到目前为止,我们主要讨论的学习算法,模型p(y|x;θ),即给定x的条件下,y的条件分布。例如,Logistic回归将p(y|x;θ)建模为,其中g是Sigmoid函数。下面,我们将讨论一种不同类型的学习算法。

考虑一个分类问题,根据动物的一些特征,我们想要学习区分大象(y=1)和狗(y=0)。给定一个训练集,像Logistic回归算法或感知器算法会试图找到一条直线--即决策边界--将大象和狗分开。然后,为了将一种新动物归类为大象或狗,会检查它落在决策边界的哪一边,并据此作出预测。

这里有一个不同的方法。首先,看看大象,我们可以建立一个大象长什么样的模型。然后,看看狗,我们可以建立一个判断狗长什么样的单独模型。最后,为了对一种新动物进行分类,我们可以将新动物与大象模型相匹配,并将其与狗模型相匹配,看看这种新动物是否更像大象,还是更像我们在训练中看到的狗。

直接学习p(y|x)的算法(如Logistic回归),或试图直接学习从输入X空间到标签{0,1}的映射的算法(如感知器),这类算法被称为判别学习算法。这里,我们将讨论那些试图对p(x|y)(和p(y))建模的算法,这些算法被称为生成学习算法。例如,如果y表示一个是狗(0)还是大象(1)的例子,那么P(x | y = 0)模拟狗特征的分布,以及P(x|y=1)模拟大象特征的分布。建模p(y)(称为先验概率)和p(X|y)后,我们的算法就能使用 Bayes 公式推导出在给定x的条件下y的后验分布:


这里,分母p(x)=p(x|y=1)p(y=1)+p(x|y=0)p(y=0)。(您应该能够从概率的标准属性中验证这一点,概率论中的全概率公式),因此也可以用我们学到的数量p(x|y)和p(y)来表示。实际上,如果计算p(y|x)来进行预测,那么我们实际上不需要计算分母,因为


查看评论

VCL 中的一个内存泄漏 Bug

在valedit.pas中,TValueListStrings类没有实现虚拟的Destroy方法,它实现了虚拟的Clear方法, 但是它的父类TStringList的Destroy中并不通过调用Cle...
  • xuting
  • xuting
  • 2003-02-17 11:18:00
  • 556

机器学习算法笔记2_1:生成学习算法(Generative Learning algorithms)

我们之前学习的算法都是基于p(y|x;θ)p(y|x;\theta), 他的思想是找出找出一个决策边界来将两类分开,而生成算法是先对两个类别分别建模,为了将样本分开,将样本代入两个模型,看样本与哪个类...
  • BUPT_WX
  • BUPT_WX
  • 2016-04-21 14:01:07
  • 4747

生成学习算法Generative Learning algorithms

前段时间开始研究图像检索,进展困难,于是回归基础,捧起PRML一书,无奈看起来极其晕乎,参考AN的的讲义才有点初步的认识。 1、概述:什么是生成学习算法 两类学习算法:判别学习算法(discrim...
  • shuhuai007
  • shuhuai007
  • 2013-08-29 19:41:02
  • 1948

【机器学习-斯坦福】学习笔记5 - 生成学习算法

生成学习算法 本次课程大纲: 1、 生成学习算法 2、 高斯判别分析(GDA,Gaussian Discriminant Analysis) - 高斯分布(简要) - ...
  • maverick1990
  • maverick1990
  • 2013-10-28 13:47:55
  • 4281

生成学习算法(Generative Learning Algorithms)

今天我们来聊一聊生成学习算法,内容主要包括生成模型和判别模型的比较,以及生成学习算法的一个例子——高斯判别分析(Gaussian Discriminant Analysis, GDA)。1. 生成模型...
  • isMarvellous
  • isMarvellous
  • 2016-04-22 19:23:41
  • 6544

生成学习算法(generative learning algorithms)和判别学习算法(discriminative learning algorithms)

1、 生成学习算法例:对恶性肿瘤和良性肿瘤的分类除了寻找一个将两类数据区分的直线外,还可以用如下方法:1)       遍历训练集,找到所有恶性肿瘤样本,直接对恶性肿瘤的特征建模;同理,对良性肿瘤建模...
  • caimouse
  • caimouse
  • 2017-03-06 15:50:05
  • 1439

MachineLearning—Generative Learning algorithms

这一节我们介绍机器学习课程当中的Generative Learning algorithms 生成学习算法,此算法与我们之前学习的逻辑回归等算法不太一样,它主要利用了贝叶斯公式为核心,也因此随后我们将...
  • qq_14959801
  • qq_14959801
  • 2016-04-27 22:29:21
  • 681

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)

[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习) PDF VIDEOIntroductionWhy semi-supervised ...
  • soulmeetliang
  • soulmeetliang
  • 2017-06-14 20:09:43
  • 2206

终身机器学习(Lifelong Machine Learning)综述

大概有十几天了没有回来更新博客了吧,这期间遇到了大大小小各种事情,最悲伤的事应该是跟我关系最好的一个哥们的父亲去世了,被酒驾的人撞了,希望叔叔在天国安好!再次告诫各位开车一定不能喝酒,不只是对自己负责...
  • qrlhl
  • qrlhl
  • 2015-10-23 17:34:57
  • 4460

生成式对抗网络---机器学习中的热门话题

生成式对抗网络---机器学习中的热门话题 GenerativeAdversarial Networks – Hot Topic in Machine Learning   Taylor Guo,...
  • cicibabe
  • cicibabe
  • 2017-04-21 17:31:43
  • 812
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 8795
    积分: 365
    排名: 21万+
    博客专栏
    最新评论