朴素贝叶斯

朴素贝叶斯python程序实现

贝叶斯公式：

$$P(A,B)=P(A|B)\cdot P(B)=P(B|A)\cdot P(A)\tag{1.1}$$
$$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}\tag{1.2}$$
$$P(B)=P(A,B)+P(A^{C},B)=P(B|A)P(A)+P(B|A^{C})P(A^{C})\tag{1.3}$$
$其中A^{C}为A的补集$
$假设{Ai}是事件集合里的部分集合，对于任意的Ai，贝叶斯定理可用下式表示$:
$$P(A_{i}|B)=\frac{P(B|A_{i})\cdot P(A_{i})}{\sum_{j}P(B|A_{j})P(A_{j})}\tag{1.4}$$

朴素贝叶斯：
朴素贝叶斯法对条件概率分布做了条件独立性假设，即分类的特征在类确定的条件下都是条件独立的。

$$P(X=x|Y=c_{k})=P(X^{1}=x^{1},...,X^{n}=x^{n}|Y=c_{k})=\prod_{j=1}^{n}P(X^{j}=x^{j}|Y=c_{k})\tag{2.1}$$
$$P(Y=c_{k}| X=x)=\frac{P(X=x|Y=c_{k})P(Y=c_{k})}{P(X=x)}=\frac{P(X=x|Y=c_{k})P(Y=c_{k})}{\sum_{k}P(X=x|Y=c_{k})P(Y=c_{k})}\tag{2.2}$$
$$P(Y=c_{k}| X=x)=\frac{P(Y=c_{k})\prod_{j=1}^{n}P(X^{j}=x^{j}|Y=c_{k})}{\sum_{k}P(Y=c_{k})\prod_{j=1}^{n}P(X^{j}=x^{j}|Y=c_{k})}\tag{2.3}$$
$$y=arg max_{c_{k}}P(Y=c_{k})\prod_{j=1}^{n}P(x^{j}|Y=c_{k})\tag{2.4}$$