垃圾邮件过滤挑战

垃圾邮件过滤挑战

随着网络应用的逐渐发展，电子邮件成为人们日常工作生活中不可分割的一部分。与此同时，垃圾邮件的问题困扰着许多电子邮件的使用者，它们不仅为电子邮件的使用者带来阅读负担，更占用了有限的邮箱空间。为此本研究提出了一种基于多层感知机的邮件分类方法，用于对未知邮件进行分类处理，检测识别出垃圾邮件。

目标问题：解决垃圾邮件罗过滤的二分类问题
数据集包括3017邮件，训练集包括2082封正常，935封垃圾，数据集在本文最后

TF-IDF模块

TF-IDF是一种字频统计方法，适合用来解决分类问题，主要用于评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力。在将文本数据转化成特征向量的过程，比较常用的文本特征表示法为词袋法，即不考虑词语出现的顺序，每个出现过的词汇单独作为一列特征，这些不重复的特征词汇集合为词表，每一个文本都可以在很长的词表上统计出一个很多列的特征向量， 如果每个文本都出现的词汇，一般被标记为“停用词”不计入特征向量。本文使用SKlearn机器学习库中TfidfVectorizer方法，相较于CountVectorizer，TfidfVectorizer除了考量某词汇在文本出现的频率，还关注包含这个词汇的所有文本的数量。能够削减高频没有意义的词汇出现带来的影响, 挖掘更有意义的特征。

MLP多层感知机模块

MLP是最常见的前馈人工神经网络模型，除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。多层感知机层与层之间是全连接的。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。 假设向输入层中输入一个n维向量，就有n个神经元，回归函数为softmax。隐藏层的神经元与输入层是全连接的，假设输入层用向量X表示，则隐藏层的输出就是f(W1X+b1)，W1是权重（也叫连接系数），b1是偏置，函数f 可以是常用的sigmoid函数或者tanh函数。输出层的输出就是softmax(W2X1+b2)，X1表示隐藏层的输出f(W1X+b1)。因此，MLP所有的参数就是各个层之间的连接权重以及偏置，本文项目设置的多层感知器参数如下：激活函数为默认relu函数；优化器选择 lbfgs（quasi-Newton方法的优化器 ）用来优化权重；alpha设置为1e-5；隐藏层个数为2，每层各有50个神经元；最大迭代次数为100。

源码

import os
import re
from html import unescape
from re import T
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, classification_report


def html_div(html):
    text = re.sub('<head.*?>.*?</head>', '', html, flags=re.M | re.S | re.I)
    text = re.sub('<a\s.*?>', ' HYPERLINK ', text, flags=re.M | re.S | re.I)
    text = re.sub('<.*?>', '', text, flags=re.M | re.S)
    text = re.sub(r'(\s*\n)+', '\n', text, flags=re.M | re.S)
    return unescape(text)


def main(cv=1):
    path_spam = 'C:/cmail/trainspam/'
    path_ham = 'C:/cmail/trainham/'
    path_test = 'C:/cmail/test/'

    dataset_x_train = []
    dataset_y_train = []
    dataset_file_train = []

    for filename in list(os.listdir(path_spam)):
        f = open(path_spam + filename, encoding='ISO-8859-1')
        cont = f.read()
        content = html_div(cont)
        dataset_x_train.append(content)
        dataset_y_train.append(1)
        dataset_file_train.append(filename)

    for filename in list(os.listdir(path_ham)):
        f = open(path_ham + filename, encoding='ISO-8859-1')
        cont = f.read()
        content = html_div(cont)
        dataset_x_train.append(content)
        dataset_y_train.append(0)
        dataset_file_train.append(filename)

    dataset_x = np.array(dataset_x_train)
    dataset_y = np.array(dataset_y_train)
    dataset_file = np.array(dataset_file_train)

    x_train_data, y_train_data, file_train_data = dataset_x, dataset_y, dataset_file

    dataset_x_test = []
    dataset_file_test = []

    for filename in list(os.listdir(path_test)):
        f = open(path_test + filename, encoding='ISO-8859-1')
        cont = f.read()
        content = html_div(cont)
        dataset_x_test.append(content)
        dataset_file_test.append(filename)

    dataset_x_test = np.array(dataset_x)
    dataset_file_test = np.array(dataset_file)

    x_test_data, file_test_data = dataset_x_test, dataset_file_test

    vectorizer = TfidfVectorizer(min_df=2, max_df=0.6, ngram_range=(1, 2), stop_words='english',
                                 strip_accents='unicode', norm='l2')
    # max_df：可以设置为范围在[0.0 1.0]的float，也可以设置为没有范围限制的int，默认为1.0。这个参数的作用是作为一个阈值，当构造语料库的关键词集的时候，如果某个词的document frequence大于max_df，这个词不会被当作关键词。如果这个参数是float，则表示词出现的次数与语料库文档数的百分比，如果是int，则表示词出现的次数。如果参数中已经给定了vocabulary，则这个参数无效。
    # min_df：类似于max_df，不同之处在于如果某个词的document frequence小于min_df，则这个词不会被当作关键词。
    # ngram_range：例如ngram_range(min,max)，是指将text分成min，min+1，min+2,.........max 个不同的词组。比如 '我 爱 中国' 中ngram_range(1,3)之后可得到'我'  '爱'  '中国'  '我 爱'  '爱 中国' 和'我 爱 中国'，如果是ngram_range (1,1) 则只能得到单个单词'我'  '爱'和'中国'。
    # stop_words：设置停用词，设为english将使用内置的英语停用词
    #
    train_x_vec = vectorizer.fit_transform(x_train_data)
    test_x_vec = vectorizer.transform(x_test_data)

    acc = 0.0

    # 分割测试集测试模型准确率
    train_x, test_x, train_y, test_y = train_test_split(train_x_vec, y_train_data, test_size=0.2)

    mlp = MLPClassifier(solver='lbfgs', alpha=1e-5, hidden_layer_sizes=(50, 50), random_state=0, max_iter=100)
    mlp.fit(train_x_vec, y_train_data)
    prediction_mlp = mlp.predict(test_x_vec)

    # mlp.fit(train_x, train_y)
    # prediction_mlp_test = mlp.predict(test_x)
    acc = format(accuracy_score(test_y, prediction_mlp))
    print('acc: ', format(accuracy_score(test_y, prediction_mlp)))

    # 文件写入
    for i in range(len(x_test_data)):
        with open('C:/cmail//re.txt', 'a', encoding='ISO-8859-1') as f:
            if int(prediction_mlp[i]) == 0:
                text = 'ham ' + file_test_data[i]
            else:
                text = 'spam ' + file_test_data[i]
            f.write(text + '\n')

    return acc


if __name__ == '__main__':

    # 十折交叉验证 训练集四一开
    # n = 1
    # avg_acc = 0.0
    # for i in range(1, n + 1):
    #    print('cv {}:'.format(i))
    #    b_acc = main(i)
    #    avg_acc = avg_acc + float(b_acc)
    # avg_acc /= n
    # print('avg acc:'.avg_acc)

数据集链接

邮件数据集
链接：https://pan.baidu.com/s/1ncsf4SiqMc0bfGpgKvzOvw
提取码：spwd