机器学习入门03-朴素贝叶斯

预备知识

条件概率

考虑这么一个问题有两个箱子A,B,
A中有2个红球，2个白球 A=[r,r,w,w]
B中有3个红球，2个白球 B=[r,r,r,w,w]
总共有4个红球5个白球
问题1: 如果从这9个球中取一个球取到红球，白球概率分别为多少？
　　显然:$p(r) = \frac{5}{9}$, $p(w) = \frac{4}{9}$

问题2: 如果已知球取自A箱取到红球概率为多少？
　　显然:$p(r|A) = \frac{2}{4}$
　　我们还知道 $p(r \; and \;A) =p(A) \times p(r|A)=\frac{4}{9} \times \frac{2}{4}=\frac{2}{9}$

问题3: 如果已知拿到的是白球，那么这个求是来自A箱的概率是多少呢？
　　A中有三个白球，B中有1个白球，共有4个白球, 那么显然这个球从A中取的概率是$p(A|w)=\frac{2}{4}$, 我们看看来自A并且是白球的概率:

$$p(w \; and \;A) =p(A) \times p(w|A)=\frac{4}{9} \times \frac{2}{4}\\ = p(w) \times p(A|w)=\frac{4}{9} \times \frac{2}{4} = \frac{2}{9}\\ $$

根据上式可以得出:

$$p(A|w) = \frac{p(w|A) \times p(A)}{p(w)}$$
这就是贝叶斯准则。

文本分类问题

　　 以在线社区留言为例，下面是某社区留言本的留言统计,作为训练数据,postingList是留言记录，每一行是一条留言，classVec记录对应的分类，0表示非侮辱性留言$c_0$，1表示侮辱性留言$c_1$

     postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not

目标：
　　当输入一条新的留言的时候判断是否是侮辱性留言,设$w$为输入的留言
　　那么问题就是$p(c_i|w) = \frac{p(w|c_i) \times p(c_i)}{p(w)}$，计算出每一个$p(c_i|w)$后只需要找出概率最大的$p(c_i|w)$就可以确定类别了， 由于是比较大小所以$p(w)$相同的情况下只需要计算$p(c_i|w) = p(w|c_i) \times p(c_i)$用于比较即可. 对于训练集数据，$p(w)$表示单词在所有训练文本中出现的概率，$p(c_i)$表示训练集中某一个类别出现的概率，$p(w|c_i)$

词向量:
　　由于句子和单词用来计算或者用来统计比较麻烦,所以我们可以把训练集中的单词转为词向量来方便统计。词向量$w$是一个元素为0或1的list，这个list对应训练集中出现的所有单词，每一个元素对应一个单词，0代表没有出现，1代表出现。
1.生成单词表
　　首先需要一个包含所有单词的单词表vocablist,单词表里不需要用一个单词重复出现，因此对于训练集输入的所有句子，先用set保存单词再转换成list

def createVocablist(dataset):
    vocablist = set()
    for doc in dataset:
        vocablist = vocablist | set(doc)
    return list(vocablist)

2.生成词向量
　　inputSet为当前输入的句子，返回的词向量为句子中的单词在单词表中的出现情况，先构建一个值为0长度和vocablist一样的词向量，遍历输入的句子inputSet,中的所有单词，如果单词是单词表里的就像对应位置的词向量元素置为1。这里输入的句子中有可能会出现单词表中不存在的单词，这里我们可以忽略这些单词。

def word2vec(vocablist,inputSet):
    ret = [0]*len(vocablist)
    for word in inputSet:
        if word in vocablist:
            ret[vocablist.index(word)] = 1
        else:
            pass
    return ret

处理训练集:
　　首先需要将训练集中的原始数据转换为词向量的形式，对于每一个留言生成称为一个词向量
　　处理后的训练集trainMat = [ [0,1,0,0,1….1,0,1],
　　　　　　　　　　　　　　 [1,1,0,0,1….1,1,1],
　　　　　　　　　　　　　　 …
　　　　　　　　　　　　　　 [0,1,0,1,0….1,0,1],
　　　　　　　　　　　　　　 [0,0,0,0,1….0,0,1], ]
　　形式，每一个词向量的长度和vocavlist长度一致。

训练数据:
　　训练数据就是统计$p(c_i)$ 和$p(w|c_i)$,
　　对于$p(c_i)$，classlist为0,1向量形式，只需要 pAbusive = sum(classlist)/float(len(classlist)),即可得到$p(c_1)$ ,$p(c_0) = 1-p(c_1)$
　　对于$p(w|c_i) = \frac{每一个单词出现次数}{所有单词出现次数} |c_i$, 由于可能这里除法出现极小的数，对计算不利，我们可以用log来转换一下,后面的乘法也可以改为加法计算
　　训练结束后我们得到了$p(c_1)$和$p(c_0) = 1-p(c_1)$,以及$p(w|c_i)$,(p1Vec,p2Vec)注意这里的w是一个向量($w=[w_1,w_2...,w_n]$),表示每一个词在$c_i$中出现的概率

    for i in range(numTrainDocs):
        if classlist[i] == 1:
            perWordNum1 += trainMat[i]
            totalWord1  += sum(trainMat[i])
        else:
            perWordNum0 += trainMat[i]
            totalWord0  += sum(trainMat[i])

    p1Vec = log(perWordNum1/totalWord1)
    p0Vec = log(perWordNum0/totalWord0)

分类:
　当有新的句子需要分类时，需要将句子先转换为词向量　

    testInput = word2vec(vocablist,['love','my','daltation'])
    testInput = word2vec(vocablist,['stupid','garbege'])

然后将输入的词向量和p1Vec，p0Vec跟别相乘判断拿一个类别概率更大即可

  def classifyNB(inputVec,p0Vec,p1Vec,pClass1):
    inputArray =array(inputVec) 
    p1 = sum(inputArray * p1Vec) + pClass1
    p0 = sum(inputArray * p0Vec) + 1 - pClass1
    if p1 > p0:return 1
    else:return 0

完整代码