神奇的贝叶斯思想

1. 贝叶斯公式
2. 朴素贝叶斯
3. 贝叶斯公式体现的思想
   3.1 逆概思维
   3.2 结果推条件的隐含信息
4. 应用
   4.1 分词
   4.2 文本分类

1. 贝叶斯公式

其实贝叶斯公式的核心就三条公式：

$$条件概率：P(A|B)=\frac{P(AB)}{P(B)}$$ $$全概率公式：P(A)=\sum_iP(A|B_i)*P(B_i)$$ $$贝叶斯公式：P(B_i|A) =\frac{P(A|B_i)*P(B_i)}{\sum{_j}P(A|B_j)*P(B_j)}$$
它对NLP中的算法起到了奠基性的作用，在此先不展开。先来看一下他是怎么应用的。

例：c1,c2表示左右两个信封，p(R),P(B) 分别表示摸到红球，黑球的概率，P(c1),P(c2)分别表示摸到左信封和右信封的概率。

由图有：P(R|c1)=2/4,P(R|c2) =1/3
若摸到一个红球，那么这个信封有一美元的概率为:

$$P(c1|R)=\frac{P(c1）P(R|c1)}{P(R) }=0.6$$ 看似非常容易，但公式里蕴含了非常典型的数学思想： 逆概思想

2.朴素贝叶斯

先理解一下朴素贝叶斯。

从机器学习的视角下理解贝叶斯公式：可以把A理解为特征，$B_i$理解为标签。在最简单的二分类中，把$B_i$理解为“属于某类”的标签。因此可以有：

P("属于某类"|"具有某特征")=P("具有某特