深度学习踩坑记录

问题1

在训练神经网络的过程中，发现所有输出值均为同一个值，检查数据后发现所有特征均已标准化，仍然存在这个问题。

解决方法：

经过实验，发现当预测目标的量级与特征相差太多时，也会发生这个问题，将预测目标标准化以后，大多数情况下问题解决，最后输出反归一化的预测值即可。
但仍有部分情况下，预测值非常接近甚至完全雷同，这可能和以下几个原因有关：

1. 网络结构不合理，可以从简单的网络逐渐增加复杂性
2. 特征数量过多，数据质量不高，可以从几个相关性较高的特征开始尝试训练，逐渐增加特征
3. 如果预测标签为离散值，适合作为分类问题，比如用户评级，只有1，2，3，4，5这五个值，但尝试用回归类型的网络预测，比如使用MSELoss，效果会非常差，应按照分类问题的方法来构造网络。

问题2

训练过程中，发现损失函数的值下降后停止在一个比较大的定值

解决方法：

原因是陷入局部最优，进一步原因目前有两种：

1. 优化器，SGD在训练过程中容易停留在局部最优点，而adam则及少出现这个问题。
2. 类似问题1中的情况，神经网络没有学习到有价值内容，统一输入预测目标的均值。
3. 可能和激活函数有关，relu等导致节点死亡，目前没有遇到。

问题3

mini-batch导致loss震荡不下降。

解决方法：

首先排除代码bug和权重随机初始化不合适等问题。
固定网络的随机种子，选取一定量的小样本作为临时样本，以该样本为整体进行网络训练，得到能稳定收敛的训练结果后，使用mini-batch的方法，将batch size从全样本按比例减小，观察损失函数的变化情况，确定有效mini-batch size的临界值。
很多数据的batch size不能太小，不然无法有效收敛。然而在batch size合适的情况下，似乎收敛情况会比全样本更快一些。

问题4

分类问题出现target xxx out of bond

解决方法：

将类别标签从0，1，2开始encode，不能从1开始。