《Machine Learning Yearning》Note10-Having a dev set and metric speeds up iterations

概要

针对一个新问题，我们我们会有很多的想法，然而我们很难提前知道哪种方法最好。对于这个问题，解决办法就是使用验证集和度量。

• Ng介绍了他建立一个机器学习系统的迭代步骤（通常第一个想法是无效的）：
  • 如何建立系统的想法
  • 用代码实现想法
  • 用实验验证想法的效果
• 如果能快速地实现上述流程的迭代，那么就会更快地取得进步，验证集和度量能使得我们快速判断方向是否正确。

例子

Ng介绍了一个反例，如果开发了一个新的猫分类器，直接在App上实验，将至少花费数个小时判断是否该系统是否有提升，并且，如果分类器的准确率仅仅提高了0.1%，你也可能检测不出那0.1%的提升。因此，有一个验证集和度量指标是十分重要的，能够使你快速地决定哪些观点是值得调优的，哪些是需要丢弃的。