关于深度学习模型搭建的思考

在时间序列任务中（单变量自回归拟合），我首先尝试了多层LSTM模型，常遇到训练好的模型在测试集只能输出常数（或波动非常小），同时训练集有一个很好的拟合，但是有时在训练集也拟合不好，有一段总是输出常数。我用了简单任务和复杂任务数据测试，都会出现以上情况。
既不总是过拟合，也不总是欠拟合，这种模型效果非常不稳定。在测试[0,1,2,3,4][5]任务时，在单隐层（全连接层）时，huber损失函数，很容易就达到了完美的效果。但是只要加入LSTM层，即使加入多层LSTM和Dense，都会出现欠拟合，或者过拟合。
看来，模型复杂度带来的效果不仅仅是欠拟合或过拟合两个极端，不合适的模型形式还能带来不稳定的效果。
单隐层测试效果如下：