机器学习实战（3）--（基于概率论的分类方法）朴素贝叶斯

最新推荐文章于 2022-03-19 23:30:56 发布

潮生明月

最新推荐文章于 2022-03-19 23:30:56 发布

阅读量713

点赞数

分类专栏：机器学习实战文章标签：机器学习朴素贝叶斯

本文链接：https://blog.csdn.net/chaoshengmingyue/article/details/50967488

版权

机器学习实战专栏收录该内容

14 篇文章 0 订阅

订阅专栏

下面不加证明地直接给出贝叶斯定理：
p(B|A)=(p(A|B)*P(B))/P(A)

2，朴素贝叶斯
朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。

朴素贝叶斯分类的正式定义如下：

  1、设x=(x1,x2,x3,...xn)为一个待分类项，而每个a为x的一个特征属性。

  2、有类别集合y=(y1,y2,y3,...,ym)。

  3、计算p(y1|x),p(y2|x),....,p(ym|x)。

  4、如果p(yi|x)=max{p(y1|x),p(y2|x),....,p(ym|x)}，则x属于yi。

  那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

  1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。

  2、统计得到在各类别下各个特征属性的条件概率估计。即。
    p(x1|y1),...p(xn|y1);...;p(x1|ym),...p(xn|ym)
  3、如果各个特征属性是条件独立的，即p(x|y1)=p(x1|y1)*p(x2|y1)*...*p(xn|y1)
  同理对p(x|yk)有一样的式子，则根据贝叶斯定理有如下推导：
                   p(yi|x)=(p(x|yi)*p(yi))/p(x)
    因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：
    p(yi|x)=p(x1|yi)*p(x2|yi)*...*p(xn|yi)*p(yi)

3,Python实现
（对文本进行分类）

# -*- coding:gb2312 -*-
from numpy import *
#创建一个数据样本
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,classVec
#创建文本字典，即将文本中所有不同的字存在一个list中
def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)
#将给定的样本，通过判断字典中的字在样本中是否存在，存在为1，不存在未0，生成长度为字典长度的列表
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)   #创建长度为len(vocabList)，值全为0的向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print "the word: %s is not in my Vocabulary!" % word
    return returnVec
#该方法与setOfWords2Vec类似，不过该方法计算的是同样的字在样本中出现的次数，而不仅仅是存不存在    
def bagOfWords2VecMN(vocabList, inputSet):
    eturnVec = [0]*len(vocabList)   #创建长度为len(vocabList)，值全为0的向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
        else:
            print "the word: %s is not in my Vocabulary!" % word
    return returnVec
#用训练数据得到p(w|c=1),p(w|c=0),以及p(c=0),p(c=1)的值，c为类别，w=(w1,....wn),即字典中的不同字符
def trainNBO(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    #print numTrainDocs,numWords
    #p(C=1)
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords)
    p1Num = ones(numWords)
    p0Denom = 2.0
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    #p(w|c=1)=（c=1的时候w在c1类中出现的次数）/（c=1的样本中，单词的总数目）
    p1Vect = log(p1Num/p1Denom)
    p0Vect = log(p0Num/p0Denom)
    return p0Vect,p1Vect,pAbusive
#对新的数据进行分类
def classify(vec2Classify, p0Vec,p1Vec, pClass1):
    p1 = sum(vec2Classify*p1Vec) + log(pClass1)
    p0 = sum(vec2Classify*p0Vec) + log(1.0-pClass1)
    if p1>p0:
        return 1
    else:
        return 0
#先将测试文本转换为向量的形式，在进行分类
def testingNB():
    listOPosts,listClasses = loadDataSet()
    vocabList = createVocabList(listOPosts)
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(vocabList,postinDoc))
    p0v,p1v,pAb = trainNBO(trainMat,array(listClasses))
    testEntry = ['love', 'my','dalmation']

    thisDoc = array(setOfWords2Vec(vocabList,testEntry))
    print thisDoc
    print testEntry, "classified as:", classify(thisDoc,p0v,p1v,pAb)

    testEntry = ['stupid','garbage']
    thisDoc = array(setOfWords2Vec(vocabList,testEntry))
    print thisDoc
    print testEntry, "classified as:", classify(thisDoc,p0v,p1v,pAb)

testingNB()