吴恩达《深度学习专项》笔记（八）：如何降低误差以达成优化目标

经过了之前的学习，我们学会了许多改进深度学习模型的方法，比如：

• 收集更多数据
• 收集更多样化的数据
• 延长训练时间
• 用高级梯度下降算法
• 缩小/扩大网络
• 使用正则化
• ……

这么多方法，如果只是一个一个试过去，开发效率就太低了。在未来的两周，我们会学习一些改进机器学习的策略。这些策略会给我们一些启发性的指导，让我们在改进模型时更明确下一步该做什么。

学习提示

这周课没有太多的新内容，主要是拓展了第二门课第一周有关偏差与方差分析的内容。学完了这周的课后，大家会进一步了解如何在一个全新的机器学习任务上设置目标，并通过误差分析等技术逐步靠近目标。

课堂笔记

正交化

如何从众多的改进方案中选择出优先级较高的呢？让我们先看看生活中一些其他事情的例子：

首先，是调整老式电视机的例子。老式电视机的画面不一定恰好能端端正正地填满屏幕，需要人为地调整画面的位置。一般这些电视机都有很多按钮，每个按钮各负责一项调整功能，比如调整上下位置、左右位置、缩放、旋转等。每个按钮之间的功能互不干扰。

另外，还有一个开汽车的例子。汽车最少有三种操作：转方向盘、加速、减速。只需要组合这三种操作，我们就能让汽车沿着某一路线跑起来。而如果汽车只有两个可以左右调整的按钮，一个按钮控制0.3倍的角度和-0.8倍的速度，另一个按钮控制2倍的角度和0.9倍的速度，那司机控制汽车时肯定会倍感吃力。

以上两个例子显示了正交化的好处。正交可以指数学里两条直线垂直，这里指的是两个调整方向互不干扰。通过调整正交的参数，我们可以把事物的“坐标分量”逐个调整到我们期待的“位置”。

类似地，在改进机器学习项目时，也可以使用正交化。

在机器学习项目中，大概有4个“坐标分量”需要调整：拟合训练集、拟合开发集、拟合测试集、提升实际应用中的表现。对于这每一项目标，我们都应该使用相互正交的策略去调整，比如：

• 拟合训练集 - 用更大的网络
• 拟合开发集 - 正则化
• 拟合测试集 - 用更大的开发集
• 提升实际应用中的表现 - 更换损失函数

值得一提的是，提前停止是一个即会影响训练误差，又会影响开发误差的方法。这个方法不满足正交化的要求，使用此方法时需要多多注意。

设置目标

单一指标

在分类任务中，一般有下面这两种评价指标：

• 精确率（precision, 又称查准率）：所有识别为猫的图片中，究竟有多少确实是猫？
• 召回率（recall, 又称查全率）：所有猫的图片中，有多少猫被正确识别了？

注意，我们之前代码实战中用的准确率(accuracy)和精确率(precision)不是一个指标。

现在，假设有两个模型，它们在开发集上的评估结果如下：

• 模型1：精确率95%，召回率90%。
• 模型2：精确率98%，召回率85%。

二者在精确率和召回率上各有优劣，该怎么从中选一个更好的模型出来呢？

设置目标的一个原则是：只使用单一实数作为评价标准。因此，我们要想办法用一个指标把这两个指标都考虑进来。比如使用F1-score，它的公式如下：