深度学习 day10机器学习（ML）策略

01 为什么是ML策略

• 当你尝试优化一个深度学习系统时，通常有很多想法可以去试。一些策略或者一些分析机器学习问题的方法可以指引你朝着最有希望的方向前进。

02 正交化

搭建机器学习系统的挑战之一是可以尝试和改变的东西太多太多（比如：有那么多超参数需要调整）

---

• 以左边电视为例，正交化指的是电视设计师设置不同的旋钮，使得每个旋钮只能调整一个性质，这样就可以将画面调整到合适的位置。又如右边的车，有方向盘、油门、刹车来分别控制性质，正交化就是这些控制互不影响，能够相互独立。

• 要弄好一个监督学习系统，通常需要调节系统的旋钮来确保四件事：
  1. 系统在训练集上得到的结果不错，训练集上 的表现必须通过某种评估达到能接受的程度。（如果你的算法在成本函数上不能很好的拟合训练集，你需要一个旋钮来确保可以调整你的算法，让他更好的拟合训练集，用来调试的旋钮可以训练更大的网络，或者切换到更好的优化算法。）
  2. 系统在开发集上有好的表现（如果发现算法对训练集很好，对开发集的拟合很差，那么就需要一个旋钮，在不影响训练集的同时，使算法更好的拟合开发集，增大训练集可以是另一个可用旋钮。）
  3. 系统在测试集上有好的表现（如果算法对开发集很好，对测试集很差，这就可能意味着对开发集过拟合了，需要往回退一步使用更大的开发集，增大开发集可以是另一个可用旋钮。）
  4. 系统在测试集上系统的成本函数在实际使用中表现令人满意（如果在测试集做的很好，但是无法给客户好的体验，这需要回去改变开发集或成本函数）

03 单一数字评估标准

无论是调整超参数或者是尝试不同的学习算法亦或者是在搭建机器学习系统时尝试不同的手段，如果有一个单实数评估标准，它可以快速的告诉你新尝试的手段比之前的手段是好还是坏。

---

• 比如说识别猫的例子：如果我们用查准率和查全率来评估分类器（查准率：就是这个图是猫的可能性，查全率：实际