深度学习中epoch、batch、iteration的理解

• epoch 指的是次数，epoch = 10 指的是把整个数据集丢进神经网络训练10次。

• batch size 指的是数据的个数，batch size = 10 指的是每次扔进神经网络训练的数据是10个。

• iteration 同样指的是次数，iteration = 10 指的是把整个数据集分成10次扔进神经网络。

Q：如果你有100个训练数据，epoch = 10, batch size = 5, iteration = ?
A：iteration = 总共100 个数据/每次5个数据 = 20 次

也就是说，你要把100个数据集扔进神经网络训练10次，每次（每个epoch）你要把100个数据集分成20份，每份数据为5个（batch size=5），所以你需要投入20次（iteration）来完成一个epoch。

Q：为什么有时候显存不够了，调小batchsize就可以呢？程序只需要自己调校iteration就好了，完全不该需要手动调节batchsize呀？
A：如果您指的是显存不够指的是内存溢出（out of memory）的话，那这里还是和Iteration没什么关系，因为batch size越大，你每次喂给模型训练的数据就越大，从而所需ram内存就越多。这就好像我们人吃饭，我们可以少吃多餐，这种情况下无论是每天吃5餐还是10餐（即iteration），其实不是那么重要，因为这种情况下每餐吃的都是比较少的，没什么负担。但如果你一餐就要把一天的量都给干了，那就可能吃撑了，或者吃吐了，这时候吃不吃得下，就取决于对你的胃容量的大小。另外，我觉得我文章里说的和你说的意思是一样的，也就是我们只需要管batch size就好了，一旦你设置好了batch size, 计算机自己会算出iteration是多少。

迭代：100块钱发红包，每个红包包10块(batch size)，需要10次发完(iteration)

参考知乎作者：林雨洲