machine learning yearning 9 and 10

9 优化指标和满足指标

有种结合多评估指标的新方法。
假如你同时关心一个学习算法的准确率和运行时间。你需要从下面3个分类器选择：

通过将准确度和运行时间放在一个公式得到一个单评估值看上去不自然，例如：
Accuracy - 0.5*RunningTime
现在有个替代的方法：首先定义一个可以”接受“的运行时间。我们假设100ms以内的运行时间都是可以接受的。然后根据这个运行时间最大化准确度。这里，运行时间就是一个满足指标——你的分类器在这个指标上必须”足够好“。准确度则是优化指标。
如果你在权衡N个不同的标准，例如模型的二进制文件大小（对于移动应用很重要，用户不想下载很大的应用），运行时间，准确度，你需要设置N-1个标准作为满足指标。然后定义最后一个为”优化指标“。例如，为二进制文件大小和运行时间设定一个阈值，通过这些限制去优化准确度。
一旦团队集中优化评估指标，将会得到更快的进步。

10有一个开发集和指标加速迭代

对于一个新的问题很难提前知道哪种方法效果最好。即使经验丰富的机器学习研究者在发现满意的东西钱也会实验很多不同的方法。当建立一个机器学习系统时，我通常：

1. 对如何建立系统提出想法
2. 用代码实现想法
3. 做实验看看想法如何。通过这些学习得到更多想法并不断迭代

这是一个迭代的过程。越快完成这个循环，越快进步。这就是为什么开发集/测试集和一个指标的重要性：每次实验新想法，并在测试集上得到指标让你快速的朝着正确的方向前进。
相反，如果你没有特别的开发集和指标。每次你的团队开发了新的分类器，你不得不把它放进你的应用，玩几个小时来感觉新的分类器性能到底有没有提高。这样很慢！同样，如果你的团队将准确度从95.0%提高到95.1%,你也不能从玩应用之中检测出提高。有一个开发集和指标能让你非常快速的检测出哪些方法能成功的给你带来或大或小的提升，同时也让你很快的决策出哪些方法可以继续改善哪些方法应该被放弃。