机器学习1-朴素贝叶斯

1. 算法

计算先验概率P(Y=ck)

计算条件概率P(Xi=xi|Y=ck)

对于给定的实例计算后验概率P(Y=ck)P(xi=xi|Y=ck)，取后验概率最大的作为实例的分类

2. 例子

数据集

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
X1	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
X2	S	M	M	S	S	S	M	M	L	L	L	M	M	L	L
Y	-1	-1	1	1	-1	-1	-1	1	1	1	1	1	1	1	-1

3. 原理

假设已知特征向量X=x，要求这个特征对应的类别，也就是要求 ，所以朴素贝叶斯的出发点在于使得后验概率 最大化。根据贝叶斯公式有

分析一下这个式子， P(Y=ck)比较容易计算，另外两项不容易计算，需要转换，因此，根据全概率公式有

假设特征的各个分量之间是独立的，基于此独立性假设有

把式3-2和式3-3代入到式3-1中有

由于式(3-4)中，对于所有ck，分母都是相同的，因此，有

有了这个公式，自然朴素贝叶斯算法的步骤也就出来了

4. 拉普拉斯平滑

4.1 为什么要做平滑处理

零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。

4.2 理论支撑

为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

4.3 怎么做

假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下：
1/1003 = 0.001，991/1003=0.988，11/1003=0.011

　　在实际的使用中也经常使用加 lambda（1≥lambda≥0）来代替简单加1。如果对N个计数都加上lambda，这时分母也要记得加上N*lambda。

5. 优劣势

优点：

小规模数据，多分类任务，适合增量式训练

缺点：

对输入数据的表达形式敏感

6. 应用

7. 实现