- 贝叶斯公式
- 朴素贝叶斯
- 贝叶斯公式体现的思想
3.1 逆概思维
3.2 结果推条件的隐含信息 - 应用
4.1 分词
4.2 文本分类
- 贝叶斯公式
其实贝叶斯公式的核心就三条公式:
条件概率:P(A|B)=P(AB)P(B)
全概率公式:P(A)=∑iP(A|Bi)∗P(Bi)
贝叶斯公式:P(Bi|A)=P(A|Bi)∗P(Bi)∑jP(A|Bj)∗P(Bj)
它对NLP中的算法起到了奠基性的作用,在此先不展开。先来看一下他是怎么应用的。
例:c1,c2表示左右两个信封,p(R),P(B) 分别表示摸到红球,黑球的概率,P(c1),P(c2)分别表示摸到左信封和右信封的概率。
由图有:P(R|c1)=2/4,P(R|c2) =1/3
若摸到一个红球,那么这个信封有一美元的概率为:
P(c1|R)=P(c1)P(R|c1)P(R)=0.6
看似非常容易,但公式里蕴含了非常典型的数学思想:
逆概思想
2.朴素贝叶斯
先理解一下朴素贝叶斯。
从机器学习的视角下理解贝叶斯公式:可以把A理解为特征, Bi 理解为标签。在最简单的二分类中,把 Bi 理解为“属于某类”的标签。因此可以有:
P("属于某类"|"具有某特征")=P("具有某特