机器学习小的tips

1. 

使用 ADAM优化器。和批量梯度下降等传统优化器相比，Adam优化器效果更好。

2.

Relu是最好的非线性映射（激活函数）。就像 Sublime是最好的文本编辑器， ReLU快速、简单，神奇的地方在于它在训练过程中不会逐渐减少梯度。虽然教科书中常用sigmoid作为激活函数，但是它在DNN中不能很好地传递梯度。

3.

使用方差缩放初始化（variance-scaled initialization）。在Tensorflow中，使用类似于tf.contrib.layers.variance_scaling_initializer()这样的方法初始化。

总体上讲，方差缩放初始化可以根据每一层输入和输出的数量（TensorFlow中默认使用输入的数量），来调整初始随机权重的方差，从而帮助信号在不需要通过截断或者批量规范化等额外的方法来在网络中传递得更深。

4.

输入数据归一化。在训练时，减去数据集的均值，然后除以标准差。这样可以减少权重在每个方向上的拉伸，帮助神经网络更快更好地学习。保持输入的数据以方差为均值中心可以很好的实现这点。你也要保证每次测试输入采取一致的归一化方法，从而保证你的训练集能够模拟真实数据环境。

5.

合理地缩放数据。这与归一化处理相关，但应该在归一化之前进行。比如，数据x在现实生活中的范围是[0, 140000000]，可能服从tanh(x)或者 tanh(x/C)分布，其中 C为常量，用于调整曲线帮助输入数据更好的符合tanh函数的坡度部分。尤其当你输入数据地在一端或者两端无界的情况下，神经网络在 (0,1)范围里可以学习的更好。

6.

• 过拟合！如果你的网络不收敛，第一件要做的事是去过拟合一个训练点，精度应该达到 100%或99.99%，或者误差接近0。如果你的神经网络不能过拟合单个数据点，那么你的架构存在严重但可能很细微的问题。如果你可以过拟合一个数据点但训练更大的数据集时不能收敛，那么可以尝试如下建议。

• 降低学习速率。你的网络会学习的慢一些，但是它可以下降到最小值，之前无法达到是因为步长设置的太大。（想象一下寻找最小值就相当于你想抵达沟渠最低点，而步长太大导致你直接跨过了沟渠。）

• 提高学习率。较大的学习率有助于缩短训练时间，减少反馈环路，这就意味着可以较快地预判网络模型是不是可行。不过虽然网络模型能够更快的收敛，但是结果可能不会特别理想，甚至会有较大的振荡。（我们发现对于ADAM优化器，0.001的学习率在许多实验中收效不错。）

• 减小批处理的样本数。使用样本数为1的批处理能够获取更细粒度的权重以更新反馈，你可以使用TensorBoard查看（或者其他调试/可视化的工具。）

• 去掉批处理规范化。在批处理样本数减少到1的同时，去掉批处理规范化，可以暴露梯度消失或者梯度爆炸的问题。我们曾有一个神经网络模型在几个星期后仍旧不能收敛。直到去掉了批处理规范化，我们才意识到在第二轮迭代后所有的输出都是NaN。批处理规范化的作用如同止血时的创口贴，但是只有在你的网络模型没有错误的情况下才管用。

• 增加批处理的样本数。较大样本的批处理，比如使用整个数据集，减少了梯度更新的方差，可以使得每轮迭代的结果更精确。换句话说，权重迭代将朝着正确的方向进行。但是，这个方法受到物理内存大小限制。通常，前面两个使用样本数为1 的批处理和除去批处理规范化的技巧比这个技巧要更有用。

• 检查矩阵变形。较大的矩阵变形（例如改变图像的横纵轴）会破坏空间的局部性特征，给模型的学习增添了难度，因为矩阵变形也是需要学习的一部分。（自然的特征变得四分五裂。事实上自然特征的空间局部特征也是卷积神经网络之所以有效的原因。）要特别注意多图形/通道的矩阵变形；用numpy.stack()进行适当的调整

• 检查损失函数。如果使用的是复杂的损失函数，就先试一下简单的例如L1或者L2损失函数。我们发现L1对于异常值没那么敏感，因此受噪音数据影响较小。

• 检查可视化。检查你的可视化工具包（matplotlib，OpenCV，等）是否调整了数值的数量级，或者有值域限制？也可以考虑使用统一的配色方案。

案例解析:

为了使上述的步骤更容易理解，这里我们展示几张（通过TensorBoard）卷积神经网络做的回归实验的损失图。

首先，这个神经网络根本没有收敛：

我们尝试剪裁数值值域，以防止他们超出范围：

哎呀，看这个没有光滑处理过的线是多么的杂乱。是学习率太大了吗？我们试着衰减了学习率并只用一个样本点进行训练：

你可以看到学习率发生了变化（大概在300到3000步间）。显然，学习率降的太快了。所以，我们放缓了迭代速率，效果就好些了：

你可以看我们在2000到5000步间进行了衰减。结果好些了，但是还不够，因为损失还没有降到0。

 

然后我们停止了学习率的衰减并且尝试了将数值压缩到更小的值域并取代了tanh函数。虽然这样损失降到了1，我们仍然不能达到过拟合。

我们就是在这一步发现，去掉批处理规范化后，网络输出很快在一到两次迭代后变成NaN。于是，我们停止了批处理规范化并且把初始化改为方差标准化。这样一下就解决了问题，用一两个输入样本训练就能达到过拟合。虽然图下方的Y轴的值被剪切了，但是初始的误差在5以上，表明误差几乎下降了4个数量级。

上图的上半部分是经过光滑处理的，但是你仍可看到对测试数据很快达到了过拟合，整个训练集的损失也降到了0.01以下。而这时我们还没有衰减学习率。我们将学习率降低了一个数量级后继续训练神经网络，得到了更加好的结果：

这些结果好太多了！但是如果我们将学习率成几何级衰减而不是将训练分成两部分会怎么样呢？

 

如果将学习率在每一步迭代都乘以0.9995，这个结果就不那么妙了：

原因估计是因为学习率衰减的太快。用0.999995会稍微好一些，但是结果几乎跟没有衰减一样。我们从这一系列的实验中总结出，批处理规范化掩盖了由初始化不当导致的梯度爆炸，而除了最后阶段学习率的衰减，衰减的学习率对于ADAM优化器也不是很有用。伴随着批处理正规化，剪裁值域只是掩盖了真实的问题。我们还通过使用tanh激活函数对我们高方差的输入数据进行了转化。