第二章 贝叶斯分类器

1 贝叶斯公式

如下图所示,已知A、B两个事件的交事件:


P(AB)=P(B|A)P(A)=P(A|B)P(B)得:

P(B|A) = P(A|B)P(B)/P(A)

在机器学习中我们通常写为:
P(h|D)=P(D|h)P(h)/P(D)
P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识。

机器学习中,我们关心的是P(h|D),即给定D时h的成立的概率,称为h的后验概率

2 如何理解贝叶斯公式

如上图所示,设A圆的面积位P(A),B圆的面积为P(B),图中阴影部分的面积可表示为P(B|A),可理解为阴影部分占A圆的比例,同理P(A|B)可理解为,阴影部分占B圆的比例。于是有阴影部分的面积为P(A|B)P(B)=P(B|A)P(A),即:

P(B|A)=P(A|B)P(B)/P(A)

3 全概率公式

假设上图中A,B为离散的事件群,已知:

BiBj=(ij)B1+B2+=Ω

同理事件群A也将有上述性质,利用贝叶斯公式将有全概率公式:

于是贝叶斯公式可更改为:

4 贝叶斯决策论

设有N 种可能的类别标记,即Y=c1,c2,...,cN,则基于后验概率P(ci|x)可获得将样本x分类为ci所产生的期望损失(也称条件风险)为:

其中λij是将一个真实标记为cj标记成为ci产生的损失.

什么是期望损失(条件风险)?

可理解为损失的平均值。

5 极大似然估计

极大似然估计源自频率主义学派,即虽然参数未知,但却是客观存在的固定值,因此可以通过优化参数来确定参数值。

6 朴素贝叶斯分类器

7 如何理解贝叶斯分类器

综上所述,贝叶斯分类器,根据数据样本,算出类条件概率P(x|c)、先验概率P(c),再根据条件概率算出联合概率,比较联合概率的大小,进行分类。

而半朴素贝叶斯分类器,根据样本计算出任意两个属性之间的条件互相信息,再算出联合概率,根据联合概率的大小,从而进行分类。

8 贝叶斯网

贝叶斯网,也称信念网,它借助有向无环图(DAG)来刻画两属性间的依赖关系,并用条件概率表来描述属性联合概率分布。

9 贝叶斯网的结构

10 贝叶斯网的学习

发布了92 篇原创文章 · 获赞 35 · 访问量 6万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览