深度学习概念、参数理解：iteration, batch_size, epoch, learning rate, weight_decay

  关于iteration, batch_size, epoch:

  神经网络在训练数据集上跑一遍，称为一次迭代（iteration）

  但是一次迭代如果把数据集中的数据都跑一遍，速度会很慢，所以一次iteration只使用部分数据，这个数目就称为batch_size

  不过这样的话，一次迭代就不一定能完整的跑完数据集中的所有数据了，这时候如果比较iteration就没啥意义了，所以又提出了epoch这个概念，如果说所有数据都被过一次了，就叫一个epoch。简单说，epochs指的就是训练过程中数据将被 “ 过 ” 多少次。

  关于learning rate, weight_decay:

  参考网址：http://www.mamicode.com/info-detail-2124262.html