《Structuring Machine Learning Projects》《结构化机器学习项目》学习笔记（一）

《Structuring Machine Learning Projects》

(《结构化机器学习项目》)

1.1 为什么是ML策略？

课程目标： 学习更为快捷高效地构建机器学习系统的方法

什么是ML Strategy？

当训练效果不好时，我们会考虑各种改善的办法。

比如： 在调试一个猫分类器的时候，可能进行了一些尝试、调整了数次后，准确率是90%，对于一个应用程序来说还是不够高。那么，我们怎么再去改善这个系统呢？

我们可能会想到以下尝试：

• 收集更多的训练数据；

• 收集更多样的训练数据（更多不同姿势的猫、更多样的反例数据）；

• 使用梯度下降算法，训练得更久一些；

• 尝试其他的优化算法，比如Adam；

• 尝试ongoing规模更大或者更小的神经网络；

• 尝试dropout或者L2正则化，防止过拟合；

• 修改神经网络的架构：激活函数、隐含层单元数；

  如上，我们有很多办法优化模型，但是如果选择方法不正确，可能尝试了很多、花费了很长时间，最后效果还是不好，甚至没有优化。那么，如何找到 “值得的尝试” 很重要！

  这门课程包括学习一些策略以及分析机器学习问题的方法，可以帮助我们朝着最有希望的方向前进。

“这门课中，我会和你们分享我在搭建和部署大量深度学习产品时学到的经验和教训，我想这些内容是这门课程独有的。比如说，很多大学深度学习课程很少提到这些策略。事实上，机器学习策略在深度学习的时代也在变化，因为现在对于深度学习算法来说能够做到的事情，比上一代机器学习算法大不一样。我希望这些策略能帮助你们提高效率，让你们的深度学习系统更快投入实用。”

1.2 正交化（Orthogonalization）

搭建或者优化一个机器学习系统的挑战之一：我们可以尝试和改变的东西太多，比如，有许多的超参数我们可以调整。

正交化（Orthogonalization） 是一中优化模型的思路，可以让我们思维清晰，更加清楚调整什么可以达到什么效果，从而提高效率。

什么是正交化？

例1： 一台老式电视机有五个旋钮可以用来调整图像的各种性质。一个旋钮用来调图像垂直方向的高度、一个旋钮用来调图像宽度、一个旋钮用来调梯形角度、一个旋钮用来调整图像左右偏移，还有一个旋钮用来调图像旋转角度。电视设计师花了大量时间设计电路，那时通常都是模拟电路来确保每个旋钮都有相对明确的功能。但是，如果我们有一个旋钮使图像的高度、宽度、梯形角度、平移位置全部都会同时改变，那我们几乎不可能把电视调好，让图像显示在区域正中。

例2： 一辆车主要有三个控制，方向盘、油门和刹车，方向盘控制方向，油门刹车控制速度，这样我们会很容易地知道不同控制对车子运动有什么影响。但是，如果车子由手柄的两个轴操作，一个调整0.3×转向角+0.9×车速、一个调整2×转向角+0.9×速度。理论上，我们可以通过这两个轴将车子调整到所需的角度和速度，但是这比独立分开控制要难的多。

“所以正交化的概念是指，你可以想出一个维度，这个维度你想做的是控制转向角，还有另一个维度来控制你的速度，那么你就需要一个旋钮尽量只控制转向角，另一个旋钮，在这个开车的例子里其实是油门和刹车控制了你的速度。但如果你有一个控制旋钮将两者混在一起，比如说这样一个控制装置同时影响你的转向角和速度，同时改变了两个性质，那么就很难令你的车子以想要的速度和角度前进。然而正交化之后，正交意味着互成90度。设计出正交化的控制装置，最理想的情况是和你实际想控制的性质一致，这样你调整参数时就容易得多。可以单独调整转向角，还有你的油门和刹车，令车子以你想要的方式运动。”

那么这与机器学习有什么关系呢？

对于优化一个监督学习系统，需要确保四件事情：

• 首先，通常必须确保系统在训练集上得到的结果不错，即训练集上的表现必须通过某种评估，达到能接受的程度，对于某些应用，这可能意味着达到人类水平的表现，但这取决于你的应用，在之后的课程中会更多地谈谈如何与人类水平的表现进行比较。
• 然后，在开发集上有好的表现；
• 然后，在测试集上也有好的表现；
• 最后，在实际使用中表现令人满意，比如，这些猫的图片应用让用户满意。

注：后面老师还进行了更详细的解释，可以参考深度学习笔记【1】和原课程视频【2】【3】。

剩余内容，更新中~

[1] deeplearning.ai（吴恩达老师的深度学习课程笔记及资源）https://github.com/fengdu78/deeplearning_ai_books
[2] Coursera 课程：https://www.coursera.org/learn/machine-learning-projects?specialization=deep-learning
[3] B站中英字幕（P79开始）https://www.bilibili.com/video/av49445369?