朴素贝叶斯原理

（1）全概率公式

  如果事件组$B_1,B_2,\dots$满足：

• $B_1,B_2,\dots$两两互斥，即$B_i\cap B_j=\varnothing$ ，$i̸=j$， $i,j=1,2,\dots$，且$P(B_i)>0,i=1,2,\dots$
• $B_1\cup B_2\cup \cdots =\Omega$ ，则称事件组$B_1,B_2,\dots$是样本空间$\Omega$的一个划分

  设$B_1,B_2,\dots$是样本空间$\Omega$的一个划分，$A$为任一事件，则：
$$P(A)=\sum _{i=1}^{\infty }P(B_i)P(A|B_i)$$
该式即为全概率公式。

（2）贝叶斯公式

  与全概率公式解决的问题相反，贝叶斯公式建立在条件概率的基础上寻找事件发生的原因（即大事件$A$已经发生的条件下，分割中的小事件$B_i$的概率）,设$B_1,B_2,\dots$是样本空间$\Omega$的一个划分，则对任一事件$A(P(A)>0)$,有
$$P(B_i|A)=\frac{P(B_i,A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$
上式为贝叶斯公式。$B_i$ 常被视为导致试验结果$A$发生的”原因“,$P(B_i)(i=1,2,\dots )$表示各种原因发生的可能性大小，故称先验概率；$P(B_i|A)(i=1,2,\dots )$则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

（3）分类任务表达式

贝叶斯公式可以转为分类任务表达式：
$$P(类{别}_i|特{征}_{j=1,2,\dots })=\frac{P(特{征}_{j=1,2,\dots }|类{别}_i)P(类{别}_i)}{P(特{征}_{j=1,2,\dots })}$$

（4）朴素贝叶斯

  朴素贝叶斯对条件概率分布作了条件独立性假设，具体的，条件独立性假设是：
$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\dots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$
结合后验概率根据贝叶斯定理得：
$$\begin{array}{rl}P(Y=c_k|X=x)& =\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}\\ & =\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}\end{array}$$
两式结合，得朴素贝叶斯得基本公式：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\dots ,K$$
因为分母对于$c_k$都是相同得，于是，朴素贝叶斯分类器表示为
$$y=f(x)=\underset{c_k}{\mathrm{argmax}}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$