机器学习系列04——贝叶斯决策(Bayes)

贝叶斯决策(Bayes)

【前言】前面几天一直比较忙,写了机器学习的前几篇文章,中间还研究了下微信订阅号开发,简单的做了个微信订阅号,每天发布一天好的文章给大家,希望多少对大家有点帮助,今天继续写贝叶斯决策,这个算法涉及到概率论中的内容比较多,大家耐心看哈!
【摘要】本文主要讲解“贝叶斯决策”算法,本算法是机器学习中应用非常广泛的算法之一,尤其在文本分类中的应用,例如在垃圾文件分类中的应用,本文从一定的数学基础(条件概率、全概率公式等)开始逐步引入贝叶斯定理、贝叶斯公式,以及对贝叶斯公式的理解,最后写到了文本分类问题,以及贝叶斯决策在文本分类中的应用方法。

1、贝叶斯定理

1.1、条件概率

所谓"条件概率"(Conditional probability),就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示。
根据文氏图,可以很清楚地看到在事件B发生的情况下,事件A发生的概率就是P(A∩B)除以P(B)。
由条件概率推导贝叶斯定理:
根据条件概率的定义。在事件B发生的条件下事件A发生的概率是:
同样,在事件A发生的条件下事件B发生的概率为:
整理与合并两个方程式,得到:
这个引理有时称为概率惩罚规则。上式两边同除以P(A),若P(A)非零,我们可以得到贝叶斯定理:

1.2、全概率公式

假设样本空间S,是两个事件A与A'的和,如下图:

上图中,事件A和事件A'共同构成了样本空间S。

这种情况下,事件B能划分成两个部分。如下图:

即:

P(B) = P(B A) + P(B A')

由上面的推导可知:P(B A) = P(B|A)P(A)

所以:P(B) = P(B|A)P(A) +P(B| A')P(A')

这就是全概率公式。它的含义是,如果A和A'构成样本空间的一个划分,那么事件B的概率,就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。

全概率公式的另一种写法:

P(A|B) = 

1.3、贝叶斯公式

或者写成如下形式:
        我们把P(A)称为"先验概率"(Prior probability),即在B事件发生之前,我们对A事件概率的一个判断。P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。P(B|A)/P(B)称为"可能性函数"(Likelihood),这是一个调整因子,使得预估概率更接近真实概率。(这一段话很重要,大家好好理解!

1.4、贝叶斯推断的含义(理解)

       先预估一个"先验概率",然后加入实验结果,看这个实验到底是增强还是削弱了"先验概率",由此得到更接近事实的"后验概率"。

       在这里,如果"可能性函数"P(B|A)/P(B)>1,意味着"先验概率"被增强,事件A的发生的可能性变大;如果"可能性函数"=1,意味着B事件无助于判断事件A的可能性;如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小。

2、贝叶斯——文本分类

2.1、文本分类问题

在文本分类中,假设我们有一个文档d∈X,X是文档向量空间(document space),和一个固定的类集合C={c1,c2,…,cj},类别又称为标签。显然,文档向量空间是一个高维度空间。我们把一堆打了标签的文档集合<d,c>作为训练样本,<d,c>∈X×C。例如:

<d,c>={Beijingjoins the World Trade Organization, China}

对于这个只有一句话的文档,我们把它归类到China,即打上china标签。

我们期望用某种训练算法,训练出一个函数γ,能够将文档映射到某一个类别:γ:X→C

这种类型的学习方法叫做有监督学习,因为事先有一个监督者(我们事先给出了一堆打好标签的文档)像个老师一样监督着整个学习过程。

朴素贝叶斯分类器是一种有监督学习,常见有两种模型,多项式模型(multinomialmodel)和伯努利模型(Bernoulli model)

2.2、多项式模型

2.2.1、基本原理

在多项式模型中,设某文档d=(t1,t2,…,tk)tk是该文档中出现过的单词,允许重复,则

先验概率P(c)= c下单词总数/整个训练样本的单词总数;

类条件概率P(tk|c)=(c下单词tk在各个文档中出现过的次数之和+1)/(c下单词总数+|V|)

V是训练样本的单词表(即抽取单词,单词出现多次,只算一个),|V|则表示训练样本包含多少种单词。在这里,m=|V|, p=1/|V|

P(tk|c)=可以看作是单词tk在证明d属于类c上提供了多大的证据,而P(c)则可以认为是类别c在整体上占多大比例(有多大可能性)
2.2.2、举例

给定一组分类好了的文本训练数据,如下:

docId

doc

类别In c=China?

1

Chinese Beijing Chinese

yes

2

Chinese Chinese Shanghai

yes

3

Chinese Macao

yes

4

Tokyo Japan Chinese

no

给定一个新样本 > Chinese Chinese Chinese Tokyo Japan对其进行分类。该文本用属性向量表示为d=(Chinese, Chinese, Chinese, Tokyo, Japan),类别集合为Y={yes, no}


2.3、伯努利模型

2.3.1、基本原理(重要,要记住

P(c)=类c下文件总数/整个训练样本的文件总数

P(tk |c)= (类c下包含单词tk的文件数+1)/(类c下单词总数+2)

在这里,m=2,p=12m=2,p=12。

2.3.2、举例
依旧使用多项式模型中的例子

2.4、两个模型的区别(了解

       二者的计算粒度不一样,多项式模型以单词为粒度,伯努利模型以文件为粒度,因此二者的先验概率和类条件概率的计算方法都不同。

       计算后验概率时,对于一个文档d,多项式模型中,只有在d中出现过的单词,才会参与后验概率计算,伯努利模型中,没有在d中出现,但是在全局单词表中出现的单词,也会参与计算,不过是作为“反方”参与的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值