2020-6-24 吴恩达DL学习-C3结构化ML项目-w1 ML策略1(1.2 正交化--改善ML系统特定方面性能同时不会影响其他方面性能的控制手段)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

1.2 正交化 Orthogonalization

搭建建立ML系统的挑战之一是，你可以尝试和改变的东西太多太多了。比如说，有那么多的超参数可以调。

那些效率很高的ML专家有个特点，他们思维清晰，对于要调整什么来达到某个效果，非常清楚，这个步骤我们称之为正交化（Orthogonalization）。

• 正交化例1
  

观察上图，这是一张老式电视图片，有很多旋钮可以用来调整图像的各种性质。所以对于这些旧式电视，可能有一个旋钮用来调图像垂直方向的高度，另外有一个旋钮用来调图像宽度，也许还有一个旋钮用来调梯形角度，还有一个旋钮用来调整图像左右偏移，还有一个旋钮用来调图像旋转角度之类的。

电视设计师花了大量时间设计电路来确保每个旋钮都有相对明确的功能。如一个旋钮来调整这个（高度），一个旋钮调整这个（宽度），一个旋钮调整这个（梯形角度），以此类推。

与此相对，想象一下，如果你有一个旋钮可以同时调整 0.1倍图像高度，+0.3倍图像宽度，-1.7倍梯形角度，+0.8倍图像在水平轴上的坐标之类的。一旦你调整这个旋钮，那么图像的高度、宽度、梯形角度、平移位置全部都会同时改变，这几乎不可能把电视调好，让图像显示在区域正中。

所以在这种情况下，正交化指的是电视设计师设计这样的旋钮，使得每个旋钮都只调整一个性质，这样调整电视图像就容易得多，就可以把图像调到正中。

• 正交化例2
  

另一个正交化例子，如上图。
你想想学车的时候，一辆车有三个主要控制，方向盘，油门和刹车。其中一个控制方向，另外两个控制你的速度。这样比较容易解读，知道不同控制的不同动作会对车子运动有什么影响。

想象一下，如果有人这么造车，造了个游戏手柄，手柄的一个轴控制的是（0.3倍转向角-0.8速度），然后还有一个轴控制的是（2倍转向角+0.9倍车速）。理论上来说，通过调整这两个旋钮你是可以将车子调整到你希望得到的角度和速度，但这样比单独控制转向角度，分开独立的控制速度要难得多。

所以正交化的概念是指，你可以想出一个维度，这个维度你想做的是控制转向角，还有另一个维度来控制你的速度。那么你就需要一个旋钮尽量只控制转向角，另一个旋钮，在这个开车的例子里其实是油门和刹车控制了你的速度。

但如果你有一个控制旋钮将两者混在一起，比如说这样一个控制装置同时影响你的转向角和速度，同时改变了两个性质，那么就很难令你的车子以想要的速度和角度前进。

然而正交化之后，正交意味着互成90度。设计出正交化的控制装置，最理想的情况是和你实际想控制的性质一致，这样你调整参数时就容易得多。可以单独调整转向角，还有你的油门和刹车，令车子以你想要的方式运动。

那么这与ML有什么关系呢？

要搞好一个监督学习系统，你通常需要调你系统的旋钮来确保四件事情。

• 你通常必须确保至少系统在训练集上得到的结果不错
  训练集上的表现必须通过某种评估，达到能接受的程度。对于某些应用，这可能意味着达到人类水平的表现。
• 在训练集上表现不错之后，你就希望系统也能在开发集上有好的表现
• 然后你希望系统在测试集上也有好的表现
• 最后，你希望在测试集上系统的成本函数在实际使用中表现令人满意，比如说，你希望这些猫图片应用的用户满意。

回到电视调节的例子。

如果电视图像太宽或太窄，你可能不想要仔细调节五个不同的旋钮，而是用一个旋钮去调整，但是这样它就会同时影响各个图像性质，所以你应该只用一个旋钮去改变电视图像的宽度。

类似地，如果你的算法在成本函数上不能很好地拟合 训练集，你想要一个旋钮，或者一组特定的旋钮，来确保你可以调整你的算法，让它很好地拟合训练集。

你用来调试的旋钮可能是可以训练更大的网络，或者可以切换到更好的优化算法，比如Adam优化算法，等等。

如果发现算法对 开发集 的拟合很差，那么应该有独立的一组旋钮去调试。比如说，你的算法在开发集上做的不好，它在训练集上做得很好，你有一组正则化的旋钮可以调节，尝试让系统训练集和开发集上都表现的好。

类比到电视，就是现在你调好了电视的宽度，如果图像的高度不太对，你就需要一个不同的旋钮来调节电视图像的高度，然后你希望这个旋钮尽量不会影响到电视的宽度。增大训练集可以是另一个可用的旋钮，它可以帮助你的学习算法更好地归纳开发集的规律，类似同时调好了电视图像的高度和宽度。

如果你的系统不符合第三个标准，系统在开发集上做的很好，但测试集上做得不好呢？

如果是这样，那么你需要调的旋钮，可能是更大的开发集。因为如果它在开发集上做的不错，但测试集不行这可能意味着你对开发集过拟合了，你需要往回退一步，使用更大的开发集。

最后，如果你的系统在测试集上做得很好，但无法给你的猫图片应用用户提供良好的体验，这意味着你需要回去，改变开发集或成本函数。因为如果根据某个成本函数，系统在测试集上做的很好，但它无法反映你的算法在现实世界中的表现，这意味着要么你的开发集分布设置不正确，要么你的成本函数测量的指标不对。

通过上面的例子你应该对这种正交化过程有个概念。你要非常清楚，你系统遇到的问题到底是四个问题中的哪一个，知道你可以调节哪些不同的东西尝试解决那个问题。

在训练NN时，一般不用early stopping，这个技巧也还不错，很多人都这么干。但个人而言，我觉得用early stopping有点难以分析。

因为这个旋钮会同时影响你对训练集的拟合，因为如果你早期停止，那么对训练集的拟合就不太好，但它同时也用来改善开发集的表现，所以这个旋钮没那么正交化。因为它同时影响两件事情，就像一个旋钮同时影响电视图像的宽度和高度。

不是说这样就不要用early stopping，如果你想用也是可以的。但如果你有更多的正交化控制，比如上面4步中涉及的其他正交化手段，用这些手段调网络会简单不少。

在ML中，如果你可以观察你的系统，弄清楚到底是什么地方出问题了，然后我们刚好有对应的旋钮，或者一组对应的旋钮，就可以解决那个限制了ML系统性能的问题。