模型训练中epoch、batch、update之间的关系

参考：【機器學習2021】預測本頻道觀看人數 (下) - 深度學習基本概念簡介、Introduction of ML/DL
结论：$epoch\ge batch=update$

详解，如右图

1）将$N$个训练样本随机分成若干个等长的$batch$，每个$batch$中的样本个数为$B$（最后一个可能小于$B$）；
2）随机初始化参数${\theta }^0$；
3）用第一个$batch$内的$B$个样本针对loss函数$L$（因为只用了第一个$batch$内的样本，所以记为$L^1$）计算得到梯度$g$；再在${\theta }^0$的基础上更新参数得到${\theta }^1$；
4）用第二个$batch$内的$B$个样本针对loss函数$L$（因为只用了第一个$batch$内的样本，所以记为$L^2$）计算得到梯度$g$；再在${\theta }^1$的基础上更新参数得到${\theta }^2$；
5）用第三个$batch$内的$B$个样本针对loss函数$L$（因为只用了第一个$batch$内的样本，所以记为$L^3$）计算得到梯度$g$；再在${\theta }^2$的基础上更新参数得到${\theta }^3$；
6）…

每用一个$batch$内的$B$个样本训练一次，就叫一次$update$；
当完成所有的$batch$（即$N$个样本都训练过一次）表示一次$epoch$；
模型一般会进行多次$epoch$的训练，每次$epoch$会重新打乱样本的顺序。