1 贝叶斯公式
如下图所示,已知A、B两个事件的交事件:
由P(A∪B)=P(B|A)P(A)=P(A|B)P(B)得:
P(B|A) = P(A|B)P(B)/P(A)
在机器学习中我们通常写为:
P(h|D)=P(D|h)P(h)/P(D)
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识。
机器学习中,我们关心的是P(h|D),即给定D时h的成立的概率,称为h的后验概率。
2 如何理解贝叶斯公式
如上图所示,设A圆的面积位P(A),B圆的面积为P(B),图中阴影部分的面积可表示为P(B|A),可理解为阴影部分占A圆的比例,同理P(A|B)可理解为,阴影部分占B圆的比例。于是有阴影部分的面积为P(A|B)P(B)=P(B|A)P(A),即:
P(B|A)=P(A|B)P(B)/P(A)
3 全概率公式
假设上图中A,B为离散的事件群,已知:
同理事件群A也将有上述性质,利用贝叶斯公式将有全概率公式:
于是贝叶斯公式可更改为:
4 贝叶斯决策论
设有N 种可能的类别标记,即Y=c1,c2,...,cN,则基于后验概率P(ci|x)可获得将样本x分类为ci所产生的期望损失(也称条件风险)为:
其中λij是将一个真实标记为cj标记成为ci产生的损失.
什么是期望损失(条件风险)?
可理解为损失的平均值。
5 极大似然估计
极大似然估计源自频率主义学派,即虽然参数未知,但却是客观存在的固定值,因此可以通过优化参数来确定参数值。
6 朴素贝叶斯分类器
7 如何理解贝叶斯分类器
综上所述,贝叶斯分类器,根据数据样本,算出类条件概率P(x|c)、先验概率P(c),再根据条件概率算出联合概率,比较联合概率的大小,进行分类。
而半朴素贝叶斯分类器,根据样本计算出任意两个属性之间的条件互相信息,再算出联合概率,根据联合概率的大小,从而进行分类。
8 贝叶斯网
贝叶斯网,也称信念网,它借助有向无环图(DAG)来刻画两属性间的依赖关系,并用条件概率表来描述属性联合概率分布。