机器学习-1

本文来自于网易云课堂

当你训练一个模型达到较高的识别度的时候，你可能会想到很多方法来继续提高神经网络模型的表现。问题在于，如果你做出了错误的选择，你完全有可能会浪费6个月的时间往错误的方向前进。本课程Andrew Ng会介绍一些策略和分析机器学习问题的方法来指引我们朝着最有希望的方向前进，他还会分析一些他在构建大型神经网络过程中的经验和教训。

正交化

假如你有这样一台电视，每个旋钮分别控制画面的属性，比如一个按钮控制图像宽度，一个按钮控制图像高度，一个按钮控制旋转等等。但是如果对于某个单位，每个按钮可以控制全部的部分效果会怎么样呢，比如一个按钮控制0.4个图像宽度+0.7个图像高度-1.3个旋转等，很显然，虽然你可以将画面调整到正中央，但是非常复杂和麻烦。
这时候正交化设计师所要做的就是将每个按钮更改一下功能使其只做一件事，这样就可以快速的调整所需要的图像了。

再比如你有这样一台车，用有3个轴的遥控器控制，如果遥控器的一个轴的控制效果是：0.2的左转+0.6的加速，另一个轴的效果是：0.5的右转+0.8的刹车，最后一个轴的效果是：0.6的左转-0.3的右转+0.1的前进，可以想象你也很难调整这台车。而正交化之后，遥控器的三个轴分别单独控制左转右转，前进和刹车，这时候你就可以很容易的控制这台车了。

那么这和机器学习有什么关系呢？
要弄好一个监督系统，你通常需要调你的系统的按钮，来确保4件事情是正确的。首先你要确保你的系统在训练集上表现不错，所以训练集上的表现必须通过某种评估达到能接受的程度，对于某些应用，这可能意味着达到人类的表现。其次，你会希望系统在验证集上也表现不错。再者，你会希望系统在测试集上也表现不错。最后，你还希望系统在实际表现中令人满意。现在回到电视调节的例子上来。如果你的电视图像太宽或太窄，你就需要一个按钮去调整，你可不会希望这个按钮会同时影响到图像的其他方面，只希望它能实现一个功能就行。下面给出调节过程的图示。
注：此图是个人绘制，请随意转载！

Andrew Ng介绍了早期停止的选择，虽然效果也可以但是他不建议这么做，因为这么做很难分析，因为这个选项没有正交化。

单一数字评估指标

在实际建模的过程中，你会发现如果有一个数字评估指标，它会快速的告诉你新尝试的手段比之前的好还是坏。所以，在建立一个模型时，最好设置一个评估指标。

神经网络的建立是一个经验化的过程，需要一遍一遍的尝试。假如你已经训练出了一个分类器A，然后拟通过调整各个参数，又训练出了一个分类器B，那么评估分类器的一个合理的方式就是观测它们的查准率（precision）和查全率（recall）。所谓查准率就是在你的分类器标记为猫的例子中，有多少真的是猫。查全率是指，在所有是真猫的图片中，你的分类器识别出了多少百分比。事实表明，查准率和查全率往往需要折中。你希望得到的效果是：当分类器识别为猫时，你希望它真的是猫，对于所有是猫的图片，你也希望系统能够将大部分分类为猫。所以用查准率和查全率作为评估指标是比较合理的。但是其中有个问题，如果A在查全率上表现好，而B在查准率上表现好，你就无法判断哪个分类器好。也就是，如果你有10几个分类器，但是有2个评估指标，你很难快速的从中选出一个最好的。所以，Andrew Ng不推荐同时使用两个指标。在机器学习论文中，结合查准率和查全率的标准方法是所谓的F1分数（F1 score），可以认为它是查准率和查全率的平均。正式的，$F1 = \frac{2}{\frac{1}{p} + \frac{1}{R}}$，称之为查准率P和查全率R的调和平均数。在这个例子中，A的F1为92.4%而B的F1为91.0%，故淘汰B保留A。那么有了验证集和单一评估指标，会让你的迭代速度更快。

优化和满足指标

有时候想把你要评估的东西组合成单实数评估指标是很难的。这时候，设立优化和满足指标是很有用的。
举例来说，对于上面这张图，你可能想利用这么一个线性加权和来评估分类器的表现：0.6*Accuracy+0.3*Running time，但这种方式未免太刻意了。这时我们可以这样考虑，分类器在优化的基础上必须满足一定的运行时间要求，比如说小于100ms。这时，Accuracy是优化指标，这个指标意味着越高越好。Running time是满足指标，也就是分类一张图的时间不能超过某个值，达到之后，你不必在乎或者是不必那么在乎这个指标有多好。所以这是一种相当合理的权衡（trade off）方式。

再比如，你要构建一个唤醒系统或触发系统，例如苹果的Hi,siri或者百度的你好，百度这样的语音识别系统，对于这些系统你可能要求他们精度越高越好，同时24小时以内最多只能被随机唤醒一次，也就是错误唤醒一次。那么，精度就是优化指标，而24小时最多只能被随机唤醒一次就是满足指标。