机器学习-朴素贝叶斯原理

朴素贝叶斯

我们的分类模型中有M个样本，每个样本有N维，输出的类别有C类。
样本例如$(X_1^1,X_2^1,X_3^1...X_n^1,Y_1)$$(X_1^2,X_2^{,}{X}_3^2...X_n^2,Y_2)$，从样本中我们可以得到先验概率$P(Y)$(K=1,2…C)及条件概率$P(X|Y)$，然后得到联合概率为：$P(XY)$，定义联合概率为$$\begin{gathered} P(XY)=P(Y=C_k)\ast P(X=x|Y=C_k) \\ =P(Y=C_k)\ast P(X=(x_1,x_2,...x_n)|Y=C_k) \end{gathered}$$

朴素贝叶斯假设

在这里我们假设X的n个维度之间互相独立，得到$$P(X=(x_1,x_2,...x_n)|Y=C_k)=P(X_1=x_1|Y=C_k)P(X_2=x_2|Y=C_k)\ast P(X_n=x_n|Y=C_k)$$

朴素贝叶斯原理

$$C_{reslut}=argmaxP(Y|X)=\frac{P(X|Y)\ast P(Y)}{P(X)}$$
其中$P(Y=C_k)$是类别在训练集中中出现的频数，及$$P(Y=C_k)=\frac{m_{ck}}{m}$$其中$m_{ck}$是类别K出现的次数。
上式中由于分母都一样都是$P(X)$，那么只要计算分子最大化即可。及$$C_{reslut}=argmaxP(Y|X)=P(X|Y)\ast P(Y)$$由于朴素贝叶斯的独立性，得到新的计算公式$$C_{reslut}=argmaxP(Y|X)=P(Y)\ast \prod _{j=1}^{n}P(X=x_j|Y=C_k)$$
对于$P(X_j=x_{j\alpha }|Y=C_k)(j=1,2,3...n)$,对于输入样本的每一特征个数不同，我们这里默认每一个特征的选择都是是特征$\alpha$. 对于后验概率中需要后验的就是对于每一个特征的不同选择。
在这里对于每个特征的的不同输入值有三种计算方案：

• 如果该特征是离散值：
  $$P(X_j=x_{j\alpha }|y=C_k)=\frac{x_{j\alpha }+\lambda }{m_k+n\lambda }$$
  其中$\lambda$是拉普拉斯平滑参数,n是$X_j$的类别个数
  sklearn中所对应的类是MultinomialNB
• 是稀疏的二项式离散值：
  $$P(X_j=x_{j\alpha }|y=C_k)=P(j|Y=C_k)X_{j\alpha }+(1-P(j|Y=C_k))(1-X_{j\alpha })$$
  其中$X_{j\alpha }$取值为0,1。$P(j|Y=C_K)$为在类别为K是第j维特征出现1的概率
  sklearn中所对应的类是BernoulliNB
• 该特征是连续值，认为$X_j$在类别$C_k$中为正态分布
  $$P(X_j=x_{j\alpha }|y=C_k)=\frac{1}{\sqrt{2\pi {\sigma }_k^2}}\ast \frac{-(X_j-{\mu }_k{)}^2}{2{\sigma }_k^2}$$
  其中${\sigma }_k^2$是在样本$C_k$中在该维度下所有的可取值的方差，${\mu }_k$是在样本$C_k$中所有可取值的均值（对于该样本的该特征我们的取值是$\alpha$及$x_{j\alpha }$，对于该特征值的取值为连续函数值）
  sklearn中所对应的类是GaussianNB

算法过程

训练集m个样本，n个维度，输出类别有k类，每一个类别的个数有$m_1,m_2,...m_k$。

• 计算类别的先验概率$P(Y=C_k)=\frac{m_k}{m}$

• 计算第k个类别的第j维特征取值为$\alpha$时的条件概率$P(X_{j\alpha }|Y=C_k)$其中$\alpha$是要求的样本的第j维特征的取值，这个是需要在后验中给出的。

• 由于贝叶斯假设性，我们可以得到$$P(X|Y)=\prod _{j=1}^{n}P(X_j|Y=C_k)$$那么对于输入样本X的分类$C_{result}$的结果是$$C_{result}=argmax\prod _{j=1}^{n}P(X_j|Y=C_k)\ast P(Y=C_k)$$

算法小结

• 对于小规模数据表现良好，处理多分类问题
• 对于缺失值不敏感，常用于文本分类
• 但需要知道先验概率，而且是通过数据提供的后验数据（就是样本在每个特征上的取值）及先验决定分类，如果先验有问题（数据不平均差距很大)时有错误