机器学习：朴素贝叶斯算法

朴素贝叶斯算法

1.朴素贝叶斯的假设

• 一个特征出现的概率，与其他特征(条件)独立（特征独立性） 其实是：对于给定分类的条件下，特征独立
• 每个特征同等重要（特征均衡性）

举个栗子：以文本分类为例

样本：1000封邮件，每个邮件被标记为垃圾邮件或者非垃圾邮件
分类目标：给定第1001封邮件，确定它是垃圾邮件还是非垃圾邮件

分析方法：朴素贝叶斯

关于拉普拉斯平滑处理 Laplace Smoothing

背景:为什么要做平滑处理?

　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。

拉普拉斯的理论支撑

　　为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。
　　假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

应用举例

　　假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下：
　　1/1003 = 0.001，991/1003=0.988，11/1003=0.011
　　在实际的使用中也经常使用加 lambda（1≥lambda≥0）来代替简单加1。如果对N个计数都加上lambda，这时分母也要记得加上N*lambda。

贝叶斯网络

把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。
贝叶斯网络(Bayesian Network)，又称有向无环图模型(directed acyclic graphical model)，是一种概率图模型，借由有向无环图(Directed Acyclic Graphs, DAG)中得知一组随机变量{X1,X2…Xn}及其n组条件概率分布(Conditional Probability Distributions, CPD)的性质。