机器学习——基于概率论的分类方法：朴素贝叶斯

朴素贝叶斯(naive Bayes)算法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y，朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常见的方法。

朴素贝叶斯(naive Bayes)算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。

1.基于贝叶斯决策理论的分类方法
用p1(x,y)表示数据点(x,y)属于类别1的概率
p1(x,y表示数据点(x,y)属于类别0的概率
如果p1(x,y）> p0(x,y) ，那么为类别1
如果p1(x,y）< p0(x,y) ，那么为类别0
即选择高概率类别，这就是贝叶斯决策理论的核心思想
利用贝叶斯准则：
如果p(c1|x,y) > p(c0|x,y) ，那么属于类别1
如果p(c1|x,y) < p(c0|x,y) ，那么属于类别0

• 优点：在数据较少的情况下仍然有效，可以处理多类别问题
• 缺点：对于输入数据的准备方式较为敏感
• 适用数据类型：标称型数据

2.2.1条件概率
条件概率：
P(gray|bucketB) = P(gray and bucketB)/P(bucketB)
贝叶斯准则（交换条件概率中的条件与结果）：
p(a|x) = p(x|a) p(a) / p(x)
2.2.2全概率公式
除了条件概率以外，在计算p1和p2的时候，还要用到全概率公式，因此，这里继续推导全概率公式。
P(B)=P(B⋂A)+P(B⋂A′)P(B)=P(B⋂A)+P(B⋂A′)

已知：
P(B⋂A)=+P(B|A)P(A)P(B⋂A)=+P(B|A)P(A)

故全概率公式为：
P(B)=P(B|A)P(A)+P(B|A′)P(A′)P(B)=P(B|A)P(A)+P(B|A′)P(A′)
其含义为：如果AA和A′A′构成一个样本空间的一个划分，那么事件BB的概率就等于AA和A′A′的概率分别乘以BB对这两个事件的条件概率之和。

于是条件概率就有了另一种写法：
P(A|B)=P(B|A)P(A)P(B|A)P(A)+P(B|A′)P(A′)

3.使用python进行文本分类

要从文本中获取特征：（1）拆分文本；（2）一个文本片段——>一个词条向量，1表示词条出现在文档中，0表示未出现。
例：社区留言板屏蔽侮辱性言论
构建快速过滤器：留言使用了负面或者侮辱性语言——>标识为内容不当。
类别：侮辱类和非侮辱类（用1和0分别表示）
准备数据：从文本中构建词向量
将句子转换为向量：（1）考虑所有文档中出现的所有单词；（2）决定将哪些词纳入词汇表；（3）将每一篇文档转换为词汇表上的向量。

##词表到向量的转换函数
def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I',