加速神经网络训练（Speed UpTraining)

学习资料

1. 英文学习资料
2. PyTorch 可视化优化器

今天我们会来聊聊在怎么样加速你的神经网络训练过程

包括以下几点：

• Stochastic Gradient Descent(SGD)
• Momentum
• AdaGrad
• RMSProp
• Adam
  
  越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了解决复杂的问题, 复杂的结构和大数据又是不能避免的, 所以我们需要寻找一些方法, 让神经网络聪明起来, 快起来.

Stochastic Gradient Descent (SGD)

所以, 最基础的方法就是 SGD 啦, 想像红色方块是我们要训练的 data, 如果用普通的训练方法, 就需要重复不断的把整套数据放入神经网络 NN训练, 这样消耗的计算资源会很大.