神经网络常见术语之——Batch与Epoch

最新推荐文章于 2023-06-12 22:49:04 发布

MAKE ELEPHANT FLY

最新推荐文章于 2023-06-12 22:49:04 发布

阅读量775

点赞数

分类专栏：算法文章标签：神经网络算法 python

本文链接：https://blog.csdn.net/qq_41915226/article/details/106918922

版权

本文介绍了神经网络训练中Batch和Epoch的概念。Batch大小决定每次更新模型参数前处理的样本数量，影响训练速度和精度。Epoch是模型遍历完整训练数据集的次数，每个Epoch由一个或多个Batch组成。批量梯度下降、随机梯度下降和小批量梯度下降是不同Batch大小的应用场景。选择合适的Batch大小和Epoch数量对模型训练至关重要，需要根据具体问题进行调整。

摘要由CSDN通过智能技术生成

Batch

Batch大小是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样本并进行预测。在批处理结束时，将预测与预期输出变量进行比较，并计算误差。从该错误中，更新算法用于改进模型，例如沿误差梯度向下移动。训练数据集可以分为一个或多个Batch。当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降。当批量是一个样本的大小时，学习算法称为随机梯度下降。当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。

Epoch

Epoch数是一个超参数，它定义了学习算法在整个训练数据集中的工作次数。一个Epoch意味着训练数据集中的每个样本都有机会更新内部模型参数。Epoch由一个或多个Batch组成。例如，如上所述，具有一批的Epoch称为批量梯度下降学习算法。您可以将for循环放在每个需要遍历训练数据集的epoch上，在这个for循环中是另一个嵌套的for循环，它遍历每批样本，其中一个批次具有指定的“批量大小”样本数。

Epochs 数量传统上很大，通常是数百或数千，允许学习算法运行直到模型的误差被充分地最小化了。您可能会看到文献和教程设置为10,100,500,1000和更大的时期数量的示例。通常创建线图，其显示沿x轴的时间以及模型在y轴上的误差或技能。这些图有时被称为学习曲线。这些图可以帮助诊断模型是否已经过度学习，学习不足或者是否适合训练数据集。