深度学习中模型训练效果不好的原因以及防止过拟合的方法

当我们用自定义的模型去训练某个数据集时，
经常会出现效果不佳的情况：精度太低、损失降不下去、泛性太差等情况。可能的原因有：

• 数据集样本太少，多样性不够；
• 网络模型是否添加了BN层，损失函数和激活函数的选取；
• 优化器的选取，学习率的设置等；

这里暂时不考虑数据集的原因，我们首先来看一下网络模型和优化算法中可能存在的问题：

1. 是否选择合适的损失函数

神经网络的损失函数是非凸的，有多个局部最低点，目标是找到一个可用的最低点。
非凸函数是凹凸不平的，但是不同的损失函数凹凸起伏的程度不同，例如下述的平方损失和交叉熵损失，后者起伏更大，且后者更容易找到一个可用的最低点，从而达到优化的目的。
- Square Error（平方损失）
- Cross Entropy（交叉熵损失）

2. 是否选择了合适的Mini-batch size

使用合适的batch size进行学习，一方面可以减少计算量，一方面有助于跳出局部最优点。
batch取太大会陷入局部最小值，batch取太小会抖动厉害，因此要选择一个合适的batch size。

batch size选取时可以采用以下策略：

• 当有足够算力时，选取batch size为32或更小一些。
• 算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch size。
• 当模型训练到尾声