神经网络的优化方法总结

由浅层的神经网络到层次较深的神经网络，单纯靠增加神经网络层数并不能有效提高模型的性能，此处将总结一些优化算法：

优化神经网络一：使用正则化技巧提高模型的泛化能力

常用的正则化方法如下所示：

• L1、L2 正则化
• dropout 正则化
• Data Augmentation 增加训练样本
• Early stopping 选择合适的迭代训练次数

优化神经网络二：梯度优化

常用的梯度优化方法如下：

• 梯度下降

  • Batch 梯度下降
  • Mini-Batch梯度下降
  • 随机梯度下降 (SGD)

• 动量梯度下降 (Momentum GD)

• Nesterw Momentum

• AdaGrad

• RMSprop

• Adam

优化神经网络三：网络初始化技巧和超参数调优

• 网络初始化技巧

  • 网络输入的标准化 (使各特征值的数量取值范围相同)

  • 权重 w 初始化

    • 让权重 W 的方差为 1 / n[l-1]

      W[l] = np