小知识点系列(十七) 本文(1.5万字) | 解读深度学习中 | Batch Size | Iterations | Epochs |

---

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

---

---

训练网络之前有很多参数要设置，不了解各个参数的含义就没法合理地设置参数值，训练效果也会因此大受影响。本篇博客记录一下网络训练里的Batch Size、Iterations和Epochs怎么理解。

一、引言

首先要了解一下为什么会出现Batch Size这个概念。深度学习算法是迭代的，也就是会多次使用算法获取结果，以得到最优化的结果。每次迭代更新网络参数有两种方式，也是两种极端：

第一种是Batch Gradient Descent，批梯度下降，即把所有数据一次性输入进网络，把数据集里的所有样本都看一遍，然后计算一次损失函数并更新参数。这种方式计算量开销很大，速度也很慢，不支持在线学习。

第二种是Stochastic Gradient Descent，随机梯度下降，即把每次只把一个数据输入进网络，每看一个数据就算一下损失函数并更新参数。这种方式虽然速度比较快，但是收敛性能不好，可能会在最优点附近震荡，两次参数的更新也有可能互相抵消掉。

可见，这两种方式都有问题，所以现在一般都是采用两种方式的折衷，Mini-Batc