超参数和参数的区别

参数

• 参数是模型在训练过程中通过学习数据集而确定的变量。
• 参数通常是通过优化算法（如梯度下降）来更新的，目的是最小化模型预测与实际值之间的差异。
• 举例：在神经网络中，权重（weight）和偏置（bias）是参数的例子。这些参数在训练过程中会被调整，以便网络能够更准确地预测数据。

超参数

• 超参数是模型训练过程中的控制变量，它们不通过训练数据来学习，而是需要手动设置或通过某种策略来选择。
• 超参数的设置对模型的性能有重要影响，但它们本身并不直接包含在模型中。
• 举例：学习率（learning rate）、knn中的k值、批量大小（batch size）、层数（number of layers）、激活函数类型（type of activation function）等都是超参数的例子。这些超参数需要预先设定，或者通过网格搜索（grid search）、随机搜索（random search）等方法来优化，以便找到最佳的参数设置。