朴素贝叶斯

朴素贝叶斯基于的是贝叶斯定理与特征条件独立假设的分类方法。

==朴素贝叶斯法对条件概率分布作了条件独立性的假设==

$$P(X=x|Y=c_k) = P(X^{(1)}=x^{(1)},···，X^{(n)}=x^{(n)}|Y=c_k)=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
上式的意思是说假设X代表好瓜，属性x^(1)^ 为色泽，x^(2)^ 为形状，等，他们与彼此不产生任何关系。

朴素贝叶斯进行分类时，对给定的输入x，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$类的输出，后验概率计算根据贝叶斯定理进行：

$$P(Y=x_k|X=x) = \frac{P(X=x|Y=c_k) P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$$
则将（1）带入（2），有

$$P(Y=x_k|X=x) = \frac{P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_kP(Y=c_k)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)}$$
这就是朴素贝叶斯的基本公式。

则朴素贝叶斯分类器可表示为

$$y=f(x)=arg max_{c_k}\frac{P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_kP(Y=c_k)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)}$$
其中，分母对所有分分类c~k~来说都是相同的，故
$$y=f(x)=arg max_{c_k}P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

【未完待续】

​