朴素贝叶斯
前面提到的KNN和决策树要求分类器直接做出决策,给“该数据实例属于哪一类”问题的明确答案,不过,分类器有时会产生错误结果,这时可以要求分类器给出一个最优的类别猜测结果,同时给出这个猜测的概率估计值。
朴素贝叶斯使用概率,提供一种利用已知值来估计未知概率的方法。通过特征间的独立性假设(朴素一词的由来),降低对数据量的要求。
缺点:
1.因为要将文本转化为词集模型(文档中的每个词在词库中只表示出现与不出现,即 [0,1,1,0,0,1],如果要表示一个词出现了多次,需要用到词袋模型,即 [0,1,3,2,0,0,2]),因此对于输入数据的准备方式较为敏感;
2.由于使用了样本属性独立性的假设,所以如果样本属性有关联时其效果不好。
改进措施:
1.下溢出问题:对概率取对数;
2.词袋模型在解决文档分类问题上比词集模型好;
3.去除高频词或对分类基本上没有帮助的词,如助词、语气词等
应用领域:
欺诈检测;一封电子邮件是否是垃圾邮件;一篇文章应该分到科技、政治,还是体育类;一段文字表达的是积极的情绪还是消极的情绪;人脸识别等。
原理:
条件概率:
Python代码如下:
import numpy as np
# 导入数据
def loadDataSet():
postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] # 每一行代表一篇文档
classVec = [0,1,0,1,0,1] # 1代表侮辱性文字,0代表正常言论
return postingList, classVec
# 构造词汇集合
def createVocabList(dataSet):
vocabList = set()
for data in dataSet:
vocabList = vocabList | set(data) # 两个集合的并操作
vocabList = list(vocabList)
vocabList.sort() # 对列表中的词汇进行排序
return vocabList
# 把文档转换为词向量-词集模型
def setOfWords2Vec1(vocabList, inputSet):
ouputSet = [0]*len(vocabList)
for vocab in inputSet:
if vocab in vocabList:
ouputSet[vocabList.index(vocab)] = 1
return ouputSet
# 把文档转换为词向量-词袋模型
def setOfWords2Vec2(vocabList, inputSet):
ouputSet = [0]*len(vocabList)
for vocab in inputSet:
if vocab in vocabList:
ouputSet[vocabList.index(vocab)] += 1
return ouputSet
# 统计信息
def train(trainMatrix,trainCategory):
numMatrix = len(trainMatrix)
pAbusive = sum(trainCategory)/numMatrix
numWords = len(trainMatrix[0])
p0Num = np.ones(numWords) # 分子,所有词出现数初始化为1,防止在计算P(w0|1)P(w1|1)P(w2|1)某个概率为0乘积就为0的情况发生
p1Num = np.ones(numWords)
p0Denom = 2.0
p1Denom = 2.0
for i in range(numMatrix):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = np.log(p1Num/p1Denom)
p0Vect = np.log(p0Num/p0Denom)
return p0Vect, p1Vect, pAbusive
# 句子分类
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify*p1Vec) - np.log(pClass1)
p0 = sum(vec2Classify*p0Vec) - np.log(1-pClass1)
if p0 > p1:
return 0
else:
return 1
# 测试数据
def test():
dataSet, classVec = loadDataSet()
vocabList = createVocabList(dataSet)
vocabVecs = []
for data in dataSet:
vocabVec = setOfWords2Vec2(vocabList, data)
vocabVecs.append(vocabVec)
p0Vect, p1Vect, pAbusive = train(vocabVecs, classVec)
testEntry = ['love', 'my', 'dalmation']
testVec = setOfWords2Vec2(vocabList, testEntry)
print(testEntry, 'is classified as:', classifyNB(testVec, p0Vect, p1Vect, pAbusive))
if __name__ == '__main__':
test()