机器学习(十五)——生成学习算法(Generative Learning algorithms)

原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf

到目前为止,我们主要讨论的学习算法,模型p(y|x;θ),即给定x的条件下,y的条件分布。例如,Logistic回归将p(y|x;θ)建模为,其中g是Sigmoid函数。下面,我们将讨论一种不同类型的学习算法。

考虑一个分类问题,根据动物的一些特征,我们想要学习区分大象(y=1)和狗(y=0)。给定一个训练集,像Logistic回归算法或感知器算法会试图找到一条直线--即决策边界--将大象和狗分开。然后,为了将一种新动物归类为大象或狗,会检查它落在决策边界的哪一边,并据此作出预测。

这里有一个不同的方法。首先,看看大象,我们可以建立一个大象长什么样的模型。然后,看看狗,我们可以建立一个判断狗长什么样的单独模型。最后,为了对一种新动物进行分类,我们可以将新动物与大象模型相匹配,并将其与狗模型相匹配,看看这种新动物是否更像大象,还是更像我们在训练中看到的狗。

直接学习p(y|x)的算法(如Logistic回归),或试图直接学习从输入X空间到标签{0,1}的映射的算法(如感知器),这类算法被称为判别学习算法。这里,我们将讨论那些试图对p(x|y)(和p(y))建模的算法,这些算法被称为生成学习算法。例如,如果y表示一个是狗(0)还是大象(1)的例子,那么P(x | y = 0)模拟狗特征的分布,以及P(x|y=1)模拟大象特征的分布。建模p(y)(称为先验概率)和p(X|y)后,我们的算法就能使用 Bayes 公式推导出在给定x的条件下y的后验分布:


这里,分母p(x)=p(x|y=1)p(y=1)+p(x|y=0)p(y=0)。(您应该能够从概率的标准属性中验证这一点,概率论中的全概率公式),因此也可以用我们学到的数量p(x|y)和p(y)来表示。实际上,如果计算p(y|x)来进行预测,那么我们实际上不需要计算分母,因为


阅读更多
文章标签: machine learning
个人分类: machine learning
所属专栏: machine learning
上一篇机器学习(十四)——证明softmax回归属于GLM模型族
下一篇一个即将面临毕业的菜鸟程序员
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭