注:该博文为Coursera平台的machine learning 课程学习笔记。
如何构建一个垃圾邮件分类器
要构建一个机器学习模型,首先要确定模型的输入变量即特征变量。
邮件都是由一个个单词组成,而垃圾邮件里往往都包含一些共同的关键词,如buy, discount等。因此可以选择日常生活经常会用到的n个(1万到5万)单词,判断这些单词是否在邮件里出现。出现则用1表示,未出现则用0表示。这样就简单构建了模型的输入变量,模型的输出结果为:垃圾邮件(1),非垃圾邮件(0)。
那怎样去提高这个模型的预测性能呢?
- 收集更多训练样本;(但这不总是会有效)
- 设计更精致(sophisticated )的特征变量;
- 增加识别错拼的能力;
事实上很难说以上哪种策略会最有效果,进一步的策略是分析错误产生的原因。
解决一个机器学习问题的推荐步骤如下:
-从最简单的模型开始,快速部署并在验证集上完成测试;
-作学习曲线图,判断是需要更多的样本量,或者增加新的特征变量;
-错误分析,逐个