python发邮件被认定为垃圾邮件_垃圾邮件过滤--朴素贝叶斯 (Python)

目录

内容概况

认识朴素贝叶斯

邮件过滤系统

内容概况

现实生活中，我们会在各类网站使用自己的电子邮箱注册，避免不了网站会时不时的给我们发送一些垃圾邮件。我们的目的是手写一个识别系统，将收到的邮件进行分类。

在这一方面，我们不得不提朴素贝叶斯，在处理文本分类，垃圾邮件过滤中的效率极高。2002年，Paul Graham提出使用"贝叶斯推断"过滤垃圾邮件。他说，这样做的效果，好得不可思议。1000封垃圾邮件可以过滤掉995封，且没有一个误判。

认识朴素贝叶斯

朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类的方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

基本方法

贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。以邮件过滤为例：

其中:

Pr(S|W) 为邮件为垃圾邮件(spam)的概率，在已知词汇W的条件下。

Pr(S) 为垃圾邮件的概率

Pr(W|S) 为垃圾邮件中，词汇W的概率

假定每一封邮件用一个向量来表示 x=(x1, x2, x3,..., xn), 其中 x1, x2,..., xn 为特征 X1, X2,...,Xn 的取值。在这里我们用0和1来表示，Xi=1表示Xi词汇出现在当前邮件中，Xi=0表示当前邮件中不存在Xi词汇。

先验概率分布

条件概率分布

![][02]

之所以称为“朴素”，是因为对条件概率分布做了独立性假设，尽管这样的假设在真实世界中是不太可行的，例如delicious接在taste 后面的概率会大于smell后面的概率，但是运用朴素贝叶斯计算时，将会把他们的看成相互独立的。尽管这样，朴素贝叶斯在预测方面的准确率依旧非常的高。

因此，条件概率分布可以写成如下形式：

![][03]

朴素贝叶斯法分类时，对于给定的输入x，通过学习到的模型计算后验概率分布P(Y=y|X=x)，将后验概率最大的类作为x的类输出，后验概率计算根据贝叶斯定理进行：

![][04]

注意到，在上式中分母对于spam, ham都是相同的，所以：

![][05]

邮件过滤系统

对于如下这样一个社区留言板文本：

posting_list = [

['my', 'dog', 'has', 'flea', 'problem', 'help', 'please'],

['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],

['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],

['stop', 'posting', 'stupid', 'worthless', 'garbage'],

['mr', 'licks', 'ate', 'ny', 'steak', 'how', 'to', 'stop', 'him'],

['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']

]

labels = [0, 1, 0, 1, 0, 1]

其中，我们对进行负面和正面分类，0代表正类，1代表负类。

首先得根据上述文本建立一个词汇表，即把重复的词汇剔除。代码如下：

def create_vocabulary_list(dataset):

# dataset 包含了多条留言的文本，每一条留言为一个列表

vocabset = set([])

for document in dataset:

vocabset = vocabset | set(document)

return list(vocabset)

接下便是计算词汇表中每个单词分别在负类和正类条件下的概率，以及负类的概率：

P(y=1)=0.5, P(y=1)= 1-P(y=1)=0.5

其中负类的先验概率是0.5，等于负类的数量除以留言的总数量。正类的概率为1减去负类的概率。

计算每个单词分别在负类和正类条件下的概率，首先得把留言转化为向量如下所示：

词汇表: ['help', 'to', 'stupid', 'problem', 'garbage', 'love', 'licks', 'dog', 'stop', 'so', 'ny', 'take', 'is', 'food', 'worthless', 'park', 'flea', 'steak', 'has', 'dalmation', 'how', 'posting', 'please', 'my', 'maybe', 'buying', 'quit', 'ate', 'cute', 'mr', 'not', 'I', 'him']

对于文本：['my', 'dog', 'has', 'flea', 'problem', 'help', 'please']

转化为向量：[0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0]

转化为向量的代码如下：

def wordsToVector(vocabset, inputset):

# vocabset 是词汇表， inputset 为要转化为向量的文本

vector = [0]*len(vocabset)

for word in inputset:

if word in vocabset:

vector[vocabset.index(word)] = 1

else:

print("The word: {} is not in my Vocabulary.".format(word))

return vector

转化为向量之后，计算每个词汇分别在负类和正类的概率代码如下：

def traing_bayes(trainset, trainCategory):

"""sovle the conditional probility"""

# trainCategory 是标记为负类和正类的向量

num_train = len(trainset)

# 获取训练集的数量，其中训练集是由文本向量组成

num_vocab = len(trainset[0])

# 由于训练集中的每个元素都是文本向量，即包含了整个词汇表

pAbusive = sum(trainCategory) / num_train

# 计算负类的概率，负类的数量除以训练集的数目

pnorm_vector = np.ones(num_vocab)

# 每个词汇出现在正类中的概率组成的向量

pabu_vector = np.ones(num_vocab)

# 每个词汇出现在负类中的概率组成的向量

pnorm_denom = 2.0

# 正类中词汇的数目

pabu_denom = 2.0

# 负类中词汇的数目

for i in range(num_train):

if trainCategory[i] == 1:

pabu_vector += trainset[i]

pabu_denom += sum(trainset[i])

else:

pnorm_vector += trainset[i]

pnorm_denom += sum(trainset[i])

pnorm_vector = np.log(pnorm_vector / pnorm_denom)

pabu_vector = np.log(pabu_vector / pabu_denom)

return pnorm_vector, pabu_vector, pAbusive

进行分类的代码如下：

def classify(testVector, pnorm_vector, pabu_vector, pabusive):

# 先将测试文本转化为向量

pnorm = sum(testVector*pnorm_vector) + np.log(1 - pabusive)

# 计算测试文本为正类的概率

pabu = sum(testVector*pabu_vector) + np.log(pabusive)

# 计算测试文本为负类的概率

if pabu > pnorm:

return 1

else:

return 0

测试代码如下：

def test_bayes():

posts_list, classes_list = load_data_set()

vocab_list = create_vocab_list(posts_list)

trainset = []

for post in posts_list:

trainset.append(wordsToVector(vocab_list, post))

pnorm_vector, pabu_vector, pAbusive = traing_bayes(trainset, classes_list)

testEntry = ['love', 'my', 'dalmation']

testVector = np.array(wordsToVector(vocab_list, testEntry))

print(testEntry, "classified as: {}".format(classify(testVector, pnorm_vector, pabu_vector, pAbusive)))

testEntry = ['stupid', 'garbage']

testVector = np.array(wordsToVector(vocab_list, testEntry))

print(testEntry, "classified as: {}".format(classify(testVector, pnorm_vector, pabu_vector, pAbusive)))

结果如下：

['love', 'my', 'dalmation'] classified as: 0

['stupid', 'garbage'] classified as: 1

[02]:http://latex.codecogs.com/png.latex?$$P(X=x|Y=y)=P(X{(1)}=x{(1)},...,X{(n)}=x{(n)}|Y=y),y\in{spam,ham}$$

[03]:http://latex.codecogs.com/png.latex?$$P(X=x|Y=y)=\prod_{j=1}nP(X{(j)}=x^{(j)}|Y=y)$$

[04]:http://latex.codecogs.com/png.latex?$$P(spam|x)=\frac{P(x|spam)\cdot{P(spam)}}{P(x|spam)\cdot{P(spam)+P(x|ham)\cdot{P(ham)}}}$$

[05]:http://latex.codecogs.com/png.latex?$$f(x)=\mathop{\arg\min}\limits_{y\in{ham,spam}}P(Y=y)\prod_{j=1}nP(X{(j)}=x^{(j)}|Y=y)$$