验证集的作用

• 验证集通常是从训练集中独立出来的一部分数据，用于调整模型的超参数（如学习率、正则化参数等）和进行模型选择（如选择不同的模型结构或特征组合）。
• 需要注意一件事情：验证集绝对不能出现在训练集中，训练集只是帮助我们训练出来一个模型，但是为了确保模型在未见过的数据上具有泛化能力，我们这个时候是需要验证集来帮助我们的，验证集可以帮助我们评估模型在不同超参数下的性能。通过多次在验证集上评估模型，可以选择出最佳的超参数组合，并避免模型在训练集上过拟合了，这也就提高了模型的泛化能力。

平时说的调参也就是调整超参数，那什么是超参数呢？？？

超参数（Hyperparameters）是指在机器学习算法中需要手动设置的参数，它们不是模型的权重参数，而是控制模型训练过程和性能的参数。相对于权重参数，超参数通常不是通过优化算法自动学习得到的，而是需要人为设定或搜索得到。因此，超参数的选择往往需要结合经验、领域知识以及试错法等方法来进行。

常见的超参数包括：

• 学习率（Learning rate）：控制模型更新权重的步长。
• 正则化参数（Regularization parameter）：控制正则化项的强度，避免模型过拟合。
• 批量大小（Batch size）：控制每次训练时输入到模型中的样本数。
• 迭代次数（Number of epochs）：控制模型训练的轮数。
• 神经网络层数（Number of layers）和每层神经元个数（Number of neurons per layer）等。

所以超参数和神经网络中的权重参数是两种不一样的东西，神经网络中的权重参数可以自己学习，通过反向传播一直调整。但是超参数是需要我们自己设置的，就比方说模型需要训练多少轮，都是需要我们自己设定的，通过多次实验，找到一个合适的轮数。