垃圾邮件识别（一）：用机器学习做中文邮件内容分类

前言

随着微信的迅速发展，工作和生活中的交流也更多依赖于此，但是由于邮件的正式性和规范性，其仍然不可被取代。但是不管是企业内部工作邮箱，还是个人邮箱，总是收到各种各样的垃圾邮件，包括商家的广告、打折促销信息、澳门博彩邮件、理财推广信息等等，不管如何进行垃圾邮件分类，总有漏网之鱼。最重要的是，不同用户对于垃圾邮件的定义并不一致。

而且大部分用户网络安全意识比较一般，万一误点垃圾邮件上钩，或者因为垃圾邮件淹没了工作中的关键信件，则会给个人或者企业造成损失。

垃圾邮件识别一直以来都是痛点难点，虽然方法无非是基于贝叶斯学习或者是概率统计还是深度学习的方法，但是由于业务场景的多样化，垃圾邮件花样实在太多了，所以传统垃圾邮件拦截器总是有点跟不上。

因此打算针对同一数据集，逐步尝试各种方法，来进行垃圾邮件的识别分类——希望假以时日，这种定制化的垃圾邮件识别工具能大幅提升用户的邮箱使用体验。

一、整体思路

总的来说，一封邮件可以分为发送人、接收人、抄送人、主题、时间、内容等要素，所以很自然的可以认为主要通过上述要素中的发送方、主题以及内容来进行垃圾邮件判断。

因此我们依次对上述要素进行分析：

• 垃圾邮件内容分类（通过提取垃圾邮件内容进行判断）
  • 中文垃圾邮件分类
  • 英文垃圾邮件分类
• 垃圾邮件标题分类
• 垃圾邮件发送方分类

最终，我们可以根据这三个维度进行综合评判，从而实现垃圾邮件的准确分类。本文将根据邮件内容进行垃圾邮件分类。

二、中文邮件内容分类实现步骤

1.数据集介绍

TREC 2006 Spam Track Public Corpora首先我们选择TREC 2006 Spam Track Public Corpora这一个公开的垃圾邮件语料库。该语料库由国际文本检索会议提供，分为英文数据集（trec06p）和中文数据集（trec06c），其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容。

文件目录形式：delay和full分别是一种垃圾邮件过滤器的过滤机制，full目录下，是理想的邮件分类结果，我们可以视为研究的标签。

trec06c
│
└───data
│   │   000
│   │   001
│   │   ...
│   └───215
└───delay
│   │   index
└───full
│   │   index 

2.数据加载

2.1 从eml格式中提取邮件要素并且存储成csv

由于目前数据集是存储成邮件的形式，并且通过索引进行垃圾邮件标注，所以我们先提取每一封邮件的发件人、收件人、抄送人、主题、发送时间、内容以及是否垃圾邮件标签。

mailTable=pd.DataFrame(columns=('Sender','Receiver','CarbonCopy','Subject','Date','Body',