深度学习模型提升模型效果的常见方法

在训练集上表现不好，需要降低bias：

• 调整超参数，如设置更深更宽的网络
• 训练更长的时间
• 选择其它特征学习函数（CNN、RNN、LSTM、GRU等）

在验证集上表现不好，需要降低方差：

• 引入正则化（如L2）
• 引入dropout
• 提供更多的训练数据
  • 基于数据增强，如图片翻转、裁剪、旋转等
  • 采集更多的数据
  • 调整数据的平衡性

在测试集上表现不好，需要降低方差：

• 需要使用更多的验证集

超参数调优：

• α：Learning Rate
• β：momentum中的参数
• β1，β2，ε：adm中的参数
• 激活函数调整
• batch_size
• 引入Batch Normalization
• 使用优化器