十三、机器学习算法构建技巧

1、构建训练数据集

\qquad 在实践中，通常获取垃圾邮件中出现频率最高的前10000到50000个单词作为训练集。
\qquad 一个可以提高模型准确性的做法是：收集尽可能多的训练数据。
\qquad 可以根据邮件的发送路由来构建更复杂的特征；
\qquad 根据邮件内容构建更加复杂的特征，如字母大小写，有无感叹号等；
\qquad 检查邮件中的拼写错误，故意错误拼写常在垃圾邮件中出现；

2、误差分析-error analysis

\qquad 构建一个机器学习模型通用的步骤：
\qquad 首先从一个简单的算法开始入手构建，使得模型可以很开构建出来，并且可以用来检测交叉验证数据集；
\qquad 之后绘制学习曲线来辅助判断是否才需要增加训练数据，增加特征数量或者应该采取其他措施；
\qquad 还可以进行误差分析，手动将算法错误执行的数据挑选出来进行查看，观察是否能从这些错误样本中找到普遍性的规律，以此来帮助提升算法的精度。下面是一个误差分析的例子：误差分析有助于快速找到能够大幅提升机器学习算法性能的关键点所在，如垃圾邮件分类问题中，通过误差分析可以快速确定哪一种类型的邮件容易被错误分类，从而可以采取针对性的措施。

\qquad 在选定了改进项之后，将新的机器学习算法使用交叉验证集进行测试计算误差，同旧的算法对交叉验证集的误差进行对比，若新算法误差有很大的降低，则说明改进有效。

3、偏斜类-skewed classes

\qquad 当训练数据中某一类数据的数据量原大于另外一类数据的数据量时，则数据量少的哪一类数据就叫做“偏斜类”。在这种情况下，只预测y=0或者y=1会使得算法效果最好。为了使得不是只预测y=0或者y=1时模型最好，使用下述查准率和召回率(precision/recall)来衡量模型的好坏：

\qquad 好的机器学习模型应该具备precision和recall均为比较高的数值的特征。

3.1 查准率和召回率之间的权衡

\qquad 在癌症预测模型中，若将确定癌症的概率由0.5上升为0.7或者0.9，则会使得precision提高，因为预测患有癌症的人数降低；使得recall降低，因为正确判定患有癌症的人数也减少。
\qquad 反之，若将确定癌症的概率阈值设置为0.3或者0.2，则会使得precision降低，因为预测患有癌症的人数会显著上升；使得recall提高，因为预测准确患有癌症的人数上升。
使用F值来权衡precision-P 和 recall-R
$$F=2\frac{PR}{P+R}$$

\qquad F值越大，通常来说模型的效果越好，对于交叉验证集采用不同的阈值进行模型测试，选择最大F值对应的阈值。

THE END