吴恩达机器学习（三）

10、应用机器学习的建议

10.1 决定下一步做什么

重点关注：假如你在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，你应该如何决定接下来走哪条路？

获得更多的训练实例——通常是有效的，但是代价很大，下面的方法可也能有效，可考虑先下面的几种方法：

1.尝试减少特征的数量
2.尝试获得更多的特征
3.尝试增加多项式特征
4.尝试减少正则化程度?
5.尝试增加正则化程度?

我们运用一些机器学习诊断法来帮助我们知道上面哪些方法对我们的算法是有效的。

10.2 评估一个假设

当我们确定学习算法的参数的时候，我们考虑的是选择参量来使训练误差最小化，有人认为得到一个非常小的训练误差一定是一件好事。事实上并不是，如 过拟合。

那么，你该如何判断一个假设函数是过拟合呢？对于这个简单的例子，我们可以对假设函数h(x)进行画图，然后观察图像趋势，但对于特征变量不止一个的这种一般情况，还有很多特征变量的问题，想要通过画出假设函数来进行观察，很难实现。

为了检验算法是否过拟合，我们将数据分为训练集和测试机，通常70%作为训练集，30%作为测试集，训练集和测试机均要含有各种类型的数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集

用训练集得出其参数后，对测试机运用该模型，我们有两种方式计算误差：

1.对于线性回归模型，我们利用测试机数据计算代价函数J

2.对于逻辑回归模型，我们除了可以利用测试数据集来计算代价函数外：

误分类的比率，对于每一个测试集实例，计算：

然后对计算结果求平均

10.3 模型选择和交叉验证集

假设我们要在10个不同次数的二项式模型之间进行选择：

显然越高次的多项式越能够适应我们的训练数据集，但是适应训练集并不代表着能推广至一般情况，我们应该选择一个更能适应一般情况的模型。我们需要使用交叉验证集来帮助来选择模型。

模型选择的方法为：

1.使用训练集训练出10个模型

2.用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）

3.选取代价函数最小的模型

4.用步骤三中选出的模型对测试机计算得出推广误差（代价函数的值）

10.4 诊断偏差和方差

当你运行一个学习算法时，如果这算法表现不佳，多半是两种情况：要么是偏差较大，要么是方差较大。即要么是欠拟合，要么是过拟合。

- 偏差: 描述模型输出结果的期望与样本真实结果的差距。（训练集）
- 方差: 描述模型对于给定值的输出稳定性。（交叉训练集）

我们通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表上来帮助分析

对于训练集：当d较小时，模型拟合程度更低，误差较大；随着d的增长，拟合程度提高，误差减小。

对于交叉验证集:当d较小时，模型拟合程度更低，误差较大；随着d的增长，误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候。

训练集误差和交叉验证集误差近似时：偏差/欠拟合

交叉训练集误差远大于训练集时：方差/过拟合

10.5正则化和偏差/方差

我们在训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是我们可能会正则化的程度太高或太小，即我们在选择λ的值时也需要思考。

我们选择一系列想要测试的λ值，通常是0-10之间呈现2倍关系的值（如：0,0.01,0.02,0.04,0.08,0.15,0.32,0.64,1.28,2.56,5.12,10共12 个）。我们同样把数据分为三个部分

选择λ的方法为：

1.使用训练集训练出12 个不同程度正则化的模型
2.用12 个模型分别对交叉验证集计算的出交叉验证误差
3.选择得出交叉验证误差最小的模型
4.运用步骤3 中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与λ的绘制在一张图上：

当λ较小时，训练集误差较小（过拟合）而交叉验证集误差较大

随着λ增加，训练集误差不断增加（欠拟合），而交叉验证集误差则先减小后增加

10.6学习曲线

学习曲线是学习算法的一个很好的合理检验。学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量m的函数绘制的图表。

即，如果我们有100 行数据，我们从1 行数据开始，逐渐学习更多行的数据。思想是：当训练较少数据时，训练的模型将能完美地适应较少地训练数据，但是训练出的模型不能很好适应交叉验证数据或测试集数据。

 

如何利用学习曲线识别高偏差/欠拟合：作为例子，我们尝试用一条直线来适应下面的数据，可以看出，无论训练集有多么大误差都不会有太大改观：

也就是说在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助。

如何利用学习曲线识别高方差/过拟合：假设我们使用一个非常高次的多项式模型，并且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数据可以提高模型的效果。也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。

也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。
 

10.7决定下一步做什么

1. 获得更多的训练实例——解决高方差
2. 尝试减少特征的数量——解决高方差
3. 尝试获得更多的特征——解决高偏差
4. 尝试增加多项式特征——解决高偏差
5. 尝试减少正则化程度λ——解决高偏差
6. 尝试增加正则化程度λ——解决高方差

11、机器学习系统的设计

11.1首先做什么

以一个垃圾邮件分类器算法为例进行讨论

为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量x。我们可以选择一个由100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。

为了构建这个分类器算法，我们可以做很多事，例如：

1.收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件

2.基于邮件的路由信息开发一系列复杂的特征

3.基于邮件的正文开发一系列复杂的特征，包括考虑截词的处理

4.为探测刻意的拼写错误开发复杂算法

11.2误差分析

 

构建一个学习算法推荐方法为：

1.从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法

2.绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他

3.进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的实例，看看这些实例是否有某种系统化的趋势。

以我们的垃圾邮件过滤器为例，误差分析要做的即使检验交叉验证集中我们的算法产生错误预测的所有邮件，看是否能将这些邮件按照类分组。例如医药品垃圾邮件，仿冒品垃圾邮件，或者密码窃取邮件，然后看分类器对哪一组邮件的预测误差最大，并优化。

思考怎么能改进分类器。例如，发现是否缺少某些特征，记下这些特征出现的次数

例如记录下错误拼写出现了多少次，一场的邮件路由情况出现了多少次，然后从出现次数最多的情况开始着手优化。

11.3类偏斜的误差度量

类偏斜情况表现为我们的训练集中有非常多的同一种类的实例，只有很少或没有其他类的实例。

如果我们希望用算法来预测癌症是否是恶心的，在我们的训练集中，只有0.5%的实例是恶性肿瘤。假设我们编写一个非学习而来的算法，在所有情况下都预测肿瘤是良性的，那么误差只有0.5%然而我们通过训练而得到的神经网络却有1%的误差。这时，误差的大小是不能视为评判算法效果的依据的。

查准率（Precision）和查全率（Recall）我们将算法预测的结果分成四种情况：

1.正确肯定（true Positive ，TP）：预测为真，实际为真

2.正确否定（True Negative，TN）：预测为假，实际为假

3.错误肯定（False Positive，FP）：预测为真，实际为假

4.错误否定（False Negative，FN）：预测为假，实际为真

则，查准率 = TP/(TP+FP)。例，在所有我们预测有恶性肿瘤的病人中，实际上有恶性肿瘤的病人的百分比，越高越好

查全率 = TP/（TP+FN ）。例，在所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤的病人的百分比，越高越好。

11.4查准率和查全率之间的权衡

我们谈到查准率和召回率，作为遇到偏斜类问题的评估度量值。在很多应用中，我们希望能够保证查准率和召回率的相对平衡。

这节课将告诉你如何平衡，同时也向你展示一些查准率和召回率作为算法评估度量值的更有效的方式。

沿用刚才预测肿瘤性质的例子。假使，我们的算法输出的结果在0-1之间，我们使用阈值0.5来预测真假

查准率 = TP/(TP+FP)。例，在所有我们预测有恶性肿瘤的病人中，实际上有恶性肿瘤的病人的百分比，越高越好

查全率 = TP/（TP+FN ）。例，在所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤的病人的百分比，越高越好。

如果我们希望只在非常确信的情况下预测为真（肿瘤为恶性），即我们希望更高的查准率，我们可以使用比0.5更大的阈值，如0.7，0.9.这样我们会减少错误预测病人为恶性肿瘤的情况，同时却会增加未能成功预测肿瘤为恶性的情况。

如果我们希望提高查全率，尽可能地让所有是恶性肿瘤地病人都得到进一步检查，我们可以用0.3

我们可以将不同阈值情况下，查全率与查准率地关系绘制成图表，曲线地形状根据数据地不同而不同。

我们希望有一个帮助我们选择这个阈值的方法。一种是计算F1值

我们选择使得F1值最高的阈值。