关于iteration, batch_size, epoch:
神经网络在训练数据集上跑一遍,称为一次迭代(iteration)
但是一次迭代如果把数据集中的数据都跑一遍,速度会很慢,所以一次iteration只使用部分数据,这个数目就称为batch_size
不过这样的话,一次迭代就不一定能完整的跑完数据集中的所有数据了,这时候如果比较iteration就没啥意义了,所以又提出了epoch这个概念,如果说所有数据都被过一次了,就叫一个epoch。简单说,epochs指的就是训练过程中数据将被 “ 过 ” 多少次。
关于learning rate, weight_decay: