【YOLO】一文搞定训练集、验证集、测试集的作用与区别以及常见数据集的划分比例！

0 引言

在机器学习，尤其是深度学习领域，YOLO（You Only Look Once）作为一个流行的目标检测算法，其训练过程中涉及到的训练集、验证集和测试集各自扮演着不同的角色

1 介绍

1. 训练集（Training Set）：

   • 目的：用于训练模型，即让模型通过大量的数据学习到如何识别和预测目标。
   • 过程：在训练过程中，模型会不断地调整其参数（权重和偏置），以最小化损失函数（比如交叉熵损失或均方误差）。这个过程通常涉及到前向传播（计算预测结果）和反向传播（根据损失函数计算梯度并更新参数）。
   • 重要性：训练集是模型学习的基础，其质量和数量直接影响模型的性能。

2. 验证集（Validation Set）：

   • 目的：用于模型选择和超参数调整。在训练过程中，验证集帮助我们评估不同模型配置的性能，以选择最佳的模型。
   • 过程：在训练的每个阶段（或每个epoch），模型会在验证集上进行评估，以检查其泛化能力。如果模型在验证集上的性能不再提升，或者开始下降，这可能意味着模型开始过拟合。
   • 重要性：验证集帮助我们避免过拟合，并选择最佳的模型参数和结构。

3. 测试集（Test Set）：

   • 目的：用于最终评估模型的泛化能力。测试集应该完全独立于训练过程，即在模型训练和验证过程中从未使用过。
   • 过程：一旦模型在训练集和验证集上训练完成，并且选择了最佳模型，我们会在测试集上评估模型的性能，以得到模型在未见过的数据上的表现。
   • 重要性：测试集提供了模型性能的最终评估，是模型部署前的重要参考。

在实际应用中，通常会将数据集分为这三个部分，以确保模型不仅能够在训练数据上表现良好，也能在新的、未见过的数据上保持较好的性能。这种分割有助于我们更全面地理解和评估模型的能力和局限性。

2 通俗理解

下面这个比喻非常恰当：模型的训练与学习，类似于老师教学生学知识的过程。

1、训练集（train set）：用于训练模型以及确定参数。相当于老师教学生知识的过程。

2、验证集（validation set）：用于确定网络结构以及调整模型的超参数。相当于月考等小测验，用于学生对学习的查漏补缺。

3、测试集（test set）：用于检验模型的泛化能力。相当于大考，上战场一样，真正的去检验学生的学习效果。

参数（parameters）是指由模型通过学习得到的变量，如权重和偏置。

超参数（hyperparameters）是指根据经验进行设定的参数，如迭代次数，隐层的层数，每层神经元的个数，学习率等。

训练集、测试集和验证集的比例

根据吴恩达的视频所述，如果当数据量不是很大的时候（万级别以下）的时候将训练集、验证集以及测试集划分为6：2：2；若是数据很大，可以将训练集、验证集、测试集比例调整为8：1：1、或者7：2：1