反垃圾邮件技术,NLP实战使用Transformers加载BERT模型进行垃圾(短信)邮件分类,识别垃圾短信(邮件)的NLP机器学习模型,并将其部署在Flask的Web平台上(全套代码)

反垃圾邮件技术,NLP实战使用Transformers加载BERT模型进行垃圾(短信)邮件分类,识别垃圾短信(邮件)的NLP机器学习模型,并将其部署在Flask的Web平台上(全套代码)。

两种方案进行实现，一是NLP实战使用 Hugging Face Transformers 库中的 BertForSequenceClassification 类来加载BERT模型进行垃圾邮件分类。二是朴素贝叶斯分类器不但使用起来非常方便而且预测精度非常高。分别一步一步从下载公开数据集、数据清洗、模型训练、模型评估、将模型部署成一个web服务、线上实现预测等各个步骤完整开发过程实现。

为了阻止垃圾邮件（mail spam），电子邮件系统的用户和管理员都使用了各种反垃圾邮件技术（英语：anti-spam techniques）。这些技术中的一些已经被嵌入产品、服务和软件中来帮助用户和管理员减轻负担。没有一种技术能够完美地解决垃圾邮件问题，每一种都要在误识别合法邮件与漏掉某些垃圾邮件之间做出妥协。 反垃圾邮件技术可以被粗略地分为四类：必须由个人来处理的，可以被电子邮件管理员自动化处理的，可以被发送人自动处理的，以及被研究人员和执法人员所使用的。