机器学习系统的设计

一、垃圾邮件分类器

首先决定如何选择并表达特征向量x。
选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否出现在邮件中，获得特征向量（出现为1，不出现为0，尺寸为100×1）。

为了构建这个分类器算法，可以采取以下操作：

1.收集更多数据，拥有更多的垃圾邮件和非垃圾邮件样本

2.基于邮件的路由信息开发一系列复杂的特征

3.基于邮件的正文信息开发一系列复杂的特征，包括考虑截词的处理

4.为探测刻意的拼写错误开发复杂的算法

二、构建学习算法方法

1.从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法

2.绘制学习曲线，决定增加数据或者添加特征，还是其他选择

3.进行误差分析，人工检查交叉验证集中算法产生预测误差的实例，看看这些实例是否有某种系统化的趋势。
以垃圾邮件过滤器为例，误差分析要做的是检验交叉验证集中我们的算法产生错误预测的所有邮件，看
①是否能将这些邮件按照类分组，看分类器对哪一组邮件预测误差最大并着手优化
②思考怎样改进分类器，是否缺少某些特征，记下这些特征出现的次数，例如记录下错误拼写出现了多少次，异常的邮件路由情况出现了多少次等等，然后从出现次数最多的情况开始着手优化

三、类偏斜的误差度量

类偏斜：训练集中有非常多同一种类的实例，只有很少或没有其他类的实例。

我们将算法预测的结果分成四种情况:
1.正确肯定（True Positive，TP）：预测为真，实际为真

2.正确否定（True Negative，TN）：预测为假，实际为假

3.错误肯定（False Positibe，FP）：预测为真，实际为假

4.错误否定（False Negative，FN）：预测为假，实际为真

查准率=TP /（TP+FP）
查准率（Precision），例如在所有预测有恶性肿瘤的病人中，实际上有恶性肿瘤的病人的百分比，越高越好

查全率=TP /（TP+FN）
查全率（Recall），又称为召回率，例如在所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤的病人的百分比，越高越好

四、查全率和查准率之间的权衡

同样以预测肿瘤性质的例子。

如果希望只在非常确信的情况下预测为真（肿瘤为恶性），即希望更高的查准率，可以使用更大的阀值，如0.7，0.9。这样做可以减少错误预测病人为恶性肿瘤的情况，但是会增加未能成功预测肿瘤为恶性的情况。

如果希望提高查全率，让所有有可能是恶性肿瘤的病人得到进一步检查诊断，可以使用更小的阀值，如0.3。

将不同阀值情况下查全率与查准率的关系绘制成图表。
由图可知查全率和查准率成反比，即负相关。

选择阀值可通过计算F1值（F1 Score），采用使得F1值最高的阀值。
计算方法如下：

五、机器学习数据

由图中可以看出
Ⅰ大部分算法，都具有相似的性能
Ⅱ随着训练数据集的增大，算法的性能也都对应的增强了

大量数据有帮助的情况：
①使用一种需要大量参数的学习算法，比如有很多特征的逻辑回归或线性回归，或者用带有很多隐藏单元的神经网络
②特征值有足够的信息来预测y值