【Tools】大模型中的超参数概念

---

摇来摇去摇碎点点的金黄
伸手牵来一片梦的霞光
南方的小巷推开多情的门窗
年轻和我们歌唱
摇来摇去摇着温柔的阳光
轻轻托起一件梦的衣裳
古老的都市每天都改变模样
                     🎵 方芳《摇太阳》

---

在机器学习中，超参数是在训练模型之前设置的参数，用于控制模型的学习过程和模型的复杂度。与模型的权重和偏差不同，超参数不能通过训练数据自动学习得到，需要手动设置。大模型中的超参数包括但不限于以下几种：

1. 学习率（Learning rate）：学习率控制模型在每一次迭代中对权重的更新幅度。较大的学习率可能导致模型无法收敛，而较小的学习率则可能导致收敛速度过慢。因此，选择合适的学习率是非常重要的。

2. 批量大小（Batch size）：批量大小指的是每次迭代中用于更新权重的训练样本数量。较大的批量大小可以加快训练速度，但可能会导致内存不足或过拟合。较小的批量大小则可能导致训练速度较慢。

3. 正则化参数（Regularization parameter）：正则化参数用于控制模型的复杂度，防止过拟合。常见的正则化方法包括L1正则化和L2正则化，正则化参数控制了正则化项在损失函数中的权重。

4. 激活函数（Activation function）：激活函数在神经网络中用于引入非线性。常见的激活函数有sigmoid函数、ReLU函数等，选择合适的激活函数可以提升模型的性能。

5. 迭代次数（Number of iterations）：迭代次数指的是训练模型时进行权重更新的总次数。迭代次数过少可能导致模型未能充分学习，而迭代次数过多则会增加训练时间。

选择合适的超参数是机器学习中的一个重要任务，常常需要通过尝试不同的超参数组合并使用交叉验证等方法来评估模型性能，从而找到最佳的超参数组合。