朴素贝叶斯的详解和文本分类python样例实现

朴素贝叶斯的详解和文本分类python样例实现

算法详解

在了解朴素贝叶斯算法之前，不妨来看看贝叶斯公式：

推导如下：

已知条件概率公式如下：

而p(a,b)=p(b,a) (此处为联合概率，即a，b同时发生的概率)

该公式转化如下：

可以简单的理解为 b发生时a的概率（先验概率） 可以通过a发生时b的概率（后验概率）进行计算

那么在进行特征分类的过程中，我们大部分时候是输入各个特征的值 得到一个分类 。

编号	色泽	根蒂	敲声	纹理	脐部	触感	密度	含糖率	好瓜？
1
2
3

可以看到的是 对于每一个特征值 可能存在不同的 数量不定的具体特征，例如色泽可以包括 青绿 暗绿 各种绿 。 那么不同的特征值会对我们最后的结果（是不是好瓜）有所影响，而我们可以反过来通过好瓜发生时各个特征出现的概率，从而得到好瓜大部分时候具有什么特征（例如纹理明显，色泽暗绿），从而反过来计算当各个特征出现时，是不是好瓜的概率，即：

xi表示一个特征值，X表示这个样例的所有特征，y表示最后的结果的取值。

其中 朴素贝叶斯将各个特征看作是，互不干扰，独立的个体，因此我们单独计算概率。即：

文本分类的python代码实现

前面提到了朴素贝叶斯是基于特征进行分类的，那么对于文本，我们应该怎么将其转化为特征值是分类的正确率的关键，本次分类我采用是是布袋模型，具体如下：

布袋模型中有一种单独考虑某个单词是否在文本中出现的情况 ，若该单词出现，则对应位置的特征值应该是True，反之则为False。

#加载数据
from nltk import word_tokenize
from sklearn.naive_bayes import BernoulliNB
def getDataest(FILE_PATH):
    data = open(FILE_PATH, 'r')
    dataclasses = []
    datatext = []
    while 1:
        dataline = data.readline()
        if not dataline:
            break
        dataline = word_tokenize(dataline)
        dataclasses.append(dataline[0])
        datatext.append(dataline[1:-1])
    return dataclasses, datatext

本文采用word_torkenize()进行分词，读者可以自行下载导入nlkt库文件

dataclasses, datatext = getDataest("SMSSpamCollection.txt")
div = {}
for i in datatext:
    for word in i:
        if word in div.keys():
            div[word] += 1
        else:
            div[word] = 1
for name in list(div.keys()):
    if div[name] < 100:
        div.pop(name)
datafirgue = [[1 for col in range(len(div))] for row in range(len(datatext))]
for i in range(len(datatext)):
    position = int(0)
    for word in div.keys():
        if word in datatext[i]:
            datafirgue[i][position] = 2
        position += 1

分词之后，应当创建一个总的单词表，考虑到计算量太大的问题,本文只选择了在数据集中出现了100次以上的单词，多余的进行清除。

随后，应当通过单词表进行特征值的创建。考虑到防止出现某个特征值概率为0的出现，设置了初始量为1，存在则为2。

最后就是切割数据集，创建模型并训练

#切割数据集
train_feature=datafirgue[:int(0.8*len(datafirgue))]
train_lables=dataclasses[:int(0.8*len(datafirgue))]
test_feature=datafirgue[int(0.8*len(datafirgue)):]
test_labels=dataclasses[int(0.8*len(datafirgue)):]


#训练
clf = MultinomialNB(alpha=0.001).fit(train_feature, train_lables)

predicted_labels=clf.predict(test_feature)

print('准确率为：', metrics.accuracy_score(test_labels, predicted_labels))

以上就是本文全部内容。