朴素贝叶斯分类

基础知识
1条件概率公式
$P(A | B) = \frac{P(A \bigcap B)}{P(B)}$

2 全概率公式
设A₁, A₂, …,A_n, 是一组互不相容的事件，它们形成样本空间的一个分割，则有全概率公式：
$P(B) = P(A_1 \bigcap B) +...+P(A_n \bigcap B) \\=P(A_1)P(B | A_1) + ... + P(A_n)P(B | A_n)$

3条件独立
在给定时间C之下，如果事件A和事件B满足
$P(A \bigcap B | C) = P(A | C) P(B | C)$
则称A和B在给定C之下条件独立。

利用条件独立公式做一个推导：
$P(A | B \bigcap C) \\ = \frac{P(A \bigcap B \bigcap C)}{P( B \bigcap C)} \\= \frac{\frac{P(A \bigcap B \bigcap C)}{P(C)}}{\frac{P( B \bigcap C)}{P(C)}}\\=\frac{P(A \bigcap B | C) }{P(B | C) }\\=P(A | C)$

朴素贝叶斯分类
设有c₁, c₂, …, c_|C|, 其中|C|是类别总数。给定一个对象d，使得
$P(C = c_j | d)$， 其中$1 \leq j \leq|C|$
最大的c_j, 就是d的类别。
接下来推导计算
$P(C = c_j | d)$
的公式。

在数据集D中，令A₁, A₂, …, A_|A|为用离散值表示的属性集合, 其中|A|为属性总数。给定对象d，观察到属性令a₁到A_|A|， 其中a_i是A_i的一个可能的取值，即
$d=<A_1 = a_1, ..., A_{|A|} = a_{|A|}>$
于是
$P(C = c_j | d) = P(C = c_j | A_1 = a_1, ..., A_{|A|} = a_{|A|})$

根据上面介绍的条件概率公式和全概率公式，我们可以做如下推导：
$P(C = c_j | A_1 = a_1, ..., A_{|A|} = a_{|A|})\\=\frac{P(A_1 = a_1, ..., A_{|A|} = a_{|A|}|C = c_j)P(C = c_j)}{P(A_1 = a_1, ..., A_{|A|} = a_{|A|})}\\ = \frac{P(A_1 = a_1, ..., A_{|A|} = a_{|A|}|C = c_j)P(C = c_j)}{\sum_{k=1}^{|C|}P(A_1 = a_1, ..., A_{|A|} = a_{|A|}|C = c_k)P(C = c_k)}$

条件独立假设：假设所有属性都条件独立于类别$C = c_j$, 于是有
$P(A_1 = a_1, ..., A_{|A|} = a_{|A|}|C = c_j)\\=P(A_1 = a_1|A_2 = a_2, ..., A_{|A|} = a_{|A|}, C = c_j)P(A_2 = a_2, ..., A_{|A|} = a_{|A|}|C = c_j)\\=P(A_1 = a_1|C = c_j)P(A_2 = a_2, ..., A_{|A|} = a_{|A|}|C = c_j)\\=\prod_{i=1}^{|A|}P(A_i = a_i|C = c_j)$

于是有
$P(C = c_j | A_1 = a_1, ..., A_{|A|} = a_{|A|})=\frac{P(C = c_j)\prod_{i=1}^{|A|}P(A_i = a_i|C = c_j)}{\sum_{k=1}^{|C|}P(C = c_k)\prod_{i=1}^{|A|}P(A_i = a_i|C = c_k)}$
其中
$P(C = c_j)=\frac{属于类别c_j的对象总数}{数据集中的对象总数}$
$P(A_i = a_i|C = c_j)=\frac{A_i = a_i|并且属于C_j的对象总数}{属于类别C_j的对象总数}$
我们最终找到了计算$P(C = c_j | d)$的公式。实际上，公式的分母对所有类别都是一样的，所以我们用于分类的函数变为：
$c=argmax_{c_j}P(C = c_j)\prod_{i=1}^{|A|}P(A_i = a_i|C = c_j)$

参考资料：
《概率导论》第2版，（美）伯特瑟卡斯，（美）齐齐克利斯 著，郑忠国，童行伟 译
《Web数据挖掘》第2版，Bing Liu 著， 俞勇 译