朴素贝叶斯（附python3代码）

完整代码见github
朴素贝叶斯：基于贝叶斯决策理论的分类方法

朴素贝叶斯特点

优点：在数据较少的情况下仍然有效，可以处理多类别问题
缺点：对于输入数据的准备方式较为敏感
使用数据类型：标称型数据

贝叶斯决策理论要求计算两个概率p1(x, y)和p2(x, y):
如果p1(x, y)>p2(x, y)，那么属于类别1；
如果p2(x, y)>p1(x, y)，那么属于类别2

使用p1（）和p2（）是为了尽可能的简化描述，真正需要计算和比较的是
//
这些符号所代表的具体意义是：给定某个由x， y表示的数据点，该数据点来自类别C1的概率是多少？数据点来自类别C2的概率是多少？应用贝叶斯准则得到：

朴素贝叶斯的一般过程

1. 收集数据：可以用任何方法。 本章使用RSS源
2. 准备数据：需要数值型或者布尔型数据准备数据：需要数值型或者布尔型数据
3. 分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果最好
4. 训练算法：计算不同的独立特征的条件概率
5. 测试算法：计算错误率
6. 使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意地分类场景中使用朴素贝叶斯，不一定非要是文本.

使用朴素贝叶斯进行文档分类

使用每个词作为特征并观察他们是否出现。
假设词汇表中有1000个单词，要得到好的概率分布，就需要足够的数据样本，假定样本数为N。
由统计学知，如果每个特征需要N个样本，那么对于10个特征将需要N^10个样本，对于包含1000个特征的词汇表需要
N^1000个样本。可以看到，所需的样本数会随特征数目的增大而迅速增长。
如果特征之间相互独立，那么样本数就可以从N^1000减少到1000*N。独立是指统计意义上的独立，即一个特征或者单词出现的可能性与它和其他单词相邻没有关系。当然，这种假设并不正确，但这个假设正是朴素贝叶斯的朴素一次的含义。朴素贝叶斯的另一个假设是，每个特征同等重要。这个假设其实也有问题，如果要判断留言板的留言是否得当，往往只需要看10-20个词就足以判断了。尽管上述假设存在一些小的瑕疵，但朴素贝叶斯的实际效果却很好。

朴素贝叶斯的两个假设：

• 特征之间相互独立
• 每个特征同等重要（贝努力模型）

朴素贝叶斯分类器通常有两种实现方式，一种基于贝努力模型实现：该方式中不考虑词在文档中出现的次数，只考虑出不出现。另一种是基于多项式模型实现，考虑词在文档中的出现次数。

使用python进行文本分类

准备数据：从文本中构建词向量

def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0, 1, 0, 1, 0, 1]  # 1 is abusive, 0 not
    return postingList, classVec


def createVocabList(dataSet):
    '''
    创建包含文档中所有不重复的单词的词汇表
    :param dataSet: 所有进行词条切分后的列表
    :return: 词汇表
    '''
    vocabList = set([])
    for document in dataSet:
        vocabList = vocabList | set(document)
    return list(vocabList)

# 贝努力模型(词集模型）set-of-words 不考虑词在文档中出现的次数，只考虑出不出现，相当于假设词是等权