《Machine Learning Yearning》第9章

第9章主要内容：
提出了多个指标的优化方式：不像之前那样用一个公式将它们结合起来。而是为一部分指标设阈值，在满足这个阈值的条件下优化另一个指标。

9 Optimizing and satisficing metrics

 这里有另一种可以将多个评估指标结合起来的方式。

 假设你同时关心准确率和算法运行时间。你要从下面三个分类器中进行挑选。

 要将准确率和运行时间推导成一个公式似乎有点不自然，例如：

$$准确率 - 0.5*运行时间$$

 这里有一种可以替代的方式：首先，定义一个“可接受”的运行时间。例如100ms内都是可接受的。然后，在你的分类器满足运行时间标准的前提下最大化准确率。在这种情况下，运行时间是一个“满意指标(satisficing metric)”—-你的分类器只需要在这个标准下“足够好”，也就是说它最多能达到100ms。而准确率是一个“优化指标(optimizing metric)”。

 如果你正在N个不同指标中权衡，例如模型中二进制文件的大小（对移动程序app很重要，因为用户不想下载很大的app）、运行时间和准确率。你可以会考虑设置N-1个“满意指标”。即，你只需要让它们满足一个确定的值。然后定义最后的那个为“优化指标”。例如，为二进制文件大小和运行时间设置一个阈值，然后在这些给定的约束下优化准确率。

 最后一个例子，假设你正在构建一个硬件设备，该设备使用麦克风来监听用户说出特定的“唤醒词”，然后唤醒系统。例如亚马逊的“Alexa”；苹果的“Hey Siri”；安卓的“Okey Google”；百度的“Hello Baidu”。你关心的是假阳率—没有人说出唤醒词，但是系统被唤醒的频率。还有假阴性率—有人说出唤醒词，但是系统没有被唤醒的频率。该系统的一个合理目标是在每24小时内假阴性率（满意指标）不能超过一个范围的情况下，最小化假阳率（优化指标）。

 一旦你的团队以这个指标进行优化，他们就能更快的取得进展。