伯禹AI - task03 过拟合、欠拟合及其解决方案 -梯度消失与爆炸、循环神经网络进阶

    在介绍以上概念之前要理解 训练集、测试集与验证集的区分：

    从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。

    训练误差（training error）和泛化误差（generalization error）的区分：

    通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。

    k折交叉验证

    由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中，我们把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这K次训练误差和验证误差分别求平均。

（一） 过拟合、欠拟合及其解决方案

1.过拟合、欠拟合与模型复杂度的关系

一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生；反过来说，当数据量很大，模型复杂度不够的时候就容易发生欠拟合；通常来说，更大的数据集可以

2.过拟合、欠拟合的解决方案

（1）权重衰减：等价于 L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。

（2）丢弃法：保持隐层单元的期望值不变，使神经网络的输出不过度依赖隐层神经元中的任意一个，说明如下：

 关键代码如下：

（二） 梯度消失、梯度爆炸

    举个例子，假设输入和所有层的权重参数都是标量，如权重参数为0.2和5，多层感知机的第30层输出为输入XX分别与0.2^30≈1×10^−21（消失）和5^30≈9×10^20（爆炸）的乘积。当层数较多时，梯度的计算也容易出现消失或爆炸,也就是网络深层的参数更新会出现问题。

（三）循环神经网络进阶

    GRU：Gate Recurrent Unit,是循环神经网络（RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。

    单元结构图如下图所示：