朴素贝叶斯

朴素贝叶斯要点

朴素贝叶斯法是基于贝叶斯定理与特征独立条件假设的分类方法，属于监督学习的生成模型，实现简单，没有迭代，在大量样本下会有较好的表现，其中特征独立条件是个较强的假设，朴素（naive）也由此而来，在朴素贝叶斯中后验概率最大化准则根据期望风险最小化准则得到。

朴素贝叶斯法的学习与分类

由于特征条件独立假设可得条件概率分布$$P\left(X=x|Y=c_k\right)=P\left(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k\right)=\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)$$朴素贝叶斯法分类时，对给定的输入x，通过学习得到的模型计算后验概率分布$P\left(Y=c_k|X=x\right)$，将后延概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：$$P\left(Y=c_k|X=x\right)=\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_k^{}P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}$$将条件概率分布代入得：$$P\left(Y=c_k|X=x\right)=\frac{P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)}{{\sum }_k^{}P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)}$$由于分母都是相同的，故朴素贝叶斯的分类器可表示为$$y=argma{x}_{(ck)}P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)$$

laplace算子

当某个分量在总样本某个分类中（观察样本库/训练集）从没出现过，会导致整个实例的计算结果为0。为了解决这个问题，使用拉普拉斯平滑进行处理。 即对先验概率的分子（划分的计数）加1，分母加上类别数；对条件概率分子加1，分母加上对应特征的可能取值数量。这样在解决零概率问题的同时，也保证了概率和依然为1。
举例
　　假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个特征F1，在各个类中观测计数分别为=0，90，10，即概率为P(F1/C1)=0，P(F1/C2)=0.9，P(F1/C3)=0.1，对这三个量使用拉普拉斯平滑的计算方法如下： 1/103 = 0.0097，91/103=0.8835，11/103=0.1068

学习与分类算法

（1）计算先验概率及条件概率
（2）对于给定的实例$x={\left(x^{(1)},x^{(2)},...x^{(n)}\right)}^T$计算$$P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)$$（3）根据最大的$P\left(Y=c_k\right)$确定实例x的类。