LSTM调参经验

0、开始训练之前先要做些什么？

在开始调参之前，需要确定方向，所谓方向就是确定了之后，在调参过程中不再更改

1、根据任务需求，结合数据，确定网络结构。

例如对于RNN而言，你的数据是变长还是非变长；输入输出对应关系是many2one还是many2many等等，更多结构参考如下

 

非RNN的普通过程，从固定尺寸的输入到固定尺寸的输出（比如图像分类）
输出是序列（例如图像标注：输入是一张图像，输出是单词的序列）
输入是序列（例如情绪分析：输入是一个句子，输出是对句子属于正面还是负面情绪的分类）
输入输出都是序列（比如机器翻译：RNN输入一个英文句子输出一个法文句子）
同步的输入输出序列（比如视频分类中，我们将对视频的每一帧都打标签）

2、确定训练集、验证集和测试集，并尽可能的确保它们来自相同的分布，并且训练集与测试集的划分通常是7：3，然后在训练集中在进行验证集的划分，验证集的划分可以是交叉验证，也可以是固定比例。

一旦确定了数据集的划分，就能够专注于提高算法的性能。如果能够保证三者来自相同的分布，对于后续的问题定位也会有着极大的意义。

例如，某个模型在训练集上效果很好，但是在测试集上的结果