机器学习笔记3-朴素贝叶斯

朴素贝叶斯

前面提到的KNN和决策树要求分类器直接做出决策，给“该数据实例属于哪一类”问题的明确答案，不过，分类器有时会产生错误结果，这时可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。

朴素贝叶斯使用概率，提供一种利用已知值来估计未知概率的方法。通过特征间的独立性假设（朴素一词的由来），降低对数据量的要求。

---

缺点：

1.因为要将文本转化为词集模型（文档中的每个词在词库中只表示出现与不出现，即 [0,1,1,0,0,1]，如果要表示一个词出现了多次，需要用到词袋模型，即 [0,1,3,2,0,0,2]），因此对于输入数据的准备方式较为敏感；

2.由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好。

改进措施：

1.下溢出问题：对概率取对数；

2.词袋模型在解决文档分类问题上比词集模型好；

3.去除高频词或对分类基本上没有帮助的词，如助词、语气词等

应用领域：

 欺诈检测；一封电子邮件是否是垃圾邮件；一篇文章应该分到科技、政治，还是体育类；一段文字表达的是积极的情绪还是消极的情绪；人脸识别等。

原理:

条件概率：

Python代码如下：

import numpy as np

# 导入数据
def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                  ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                  ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                  ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                  ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                  ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]   # 每一行代表一篇文档
    classVec = [0,1,0,1,0,1]    # 1代表侮辱性文字，0代表正常言论
    return postingList, classVec

# 构造词汇集合
def createVocabList(dataSet):
    vocabList = set()
    for data in dataSet:
        vocabList = vocabList | set(data) # 两个集合的并操作
    vocabList = list(vocabList)
    vocabList.sort() # 对列表中的词汇进行排序
    return vocabList

# 把文档转换为词向量-词集模型
def setOfWords2Vec1(vocabList, inputSet):
    ouputSet = [0]*len(vocabList)
    for vocab in inputSet:
        if vocab in vocabList:
            ouputSet[vocabList.index(vocab)] = 1
    return ouputSet

# 把文档转换为词向量-词袋模型
def setOfWords2Vec2(vocabList, inputSet):
    ouputSet = [0]*len(vocabList)
    for vocab in inputSet:
        if vocab in vocabList:
            ouputSet[vocabList.index(vocab)] += 1
    return ouputSet

# 统计信息
def train(trainMatrix,trainCategory):
    numMatrix = len(trainMatrix)
    pAbusive = sum(trainCategory)/numMatrix
    numWords = len(trainMatrix[0])
    p0Num = np.ones(numWords)  # 分子，所有词出现数初始化为1，防止在计算P(w0|1)P(w1|1)P(w2|1)某个概率为0乘积就为0的情况发生
    p1Num = np.ones(numWords)
    p0Denom = 2.0
    p1Denom = 2.0
    for i in range(numMatrix):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = np.log(p1Num/p1Denom)
    p0Vect = np.log(p0Num/p0Denom)
    return p0Vect, p1Vect, pAbusive

# 句子分类
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify*p1Vec) - np.log(pClass1)
    p0 = sum(vec2Classify*p0Vec) - np.log(1-pClass1)
    if p0 > p1:
        return 0
    else:
        return 1

# 测试数据
def test():
    dataSet, classVec = loadDataSet()
    vocabList = createVocabList(dataSet)
    vocabVecs = []
    for data in dataSet:
        vocabVec = setOfWords2Vec2(vocabList, data)
        vocabVecs.append(vocabVec)
    p0Vect, p1Vect, pAbusive = train(vocabVecs, classVec)
    testEntry = ['love', 'my', 'dalmation']
    testVec = setOfWords2Vec2(vocabList, testEntry)
    print(testEntry, 'is classified as:', classifyNB(testVec, p0Vect, p1Vect, pAbusive))

if __name__ == '__main__':
    test()