-
超参数(hyperparameters)是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。
-
在深度神经网络中,超参数的调整是一项必备技能。通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态,及时调整超参数以更科学地训练模型能够提高资源利用率
深度学习主要超参数:
- 网络模型(结构、层数、激活函数等)
- 学习率
- 批次大小(batch size)
- 迭代次数(epoch,iteration)
- 优化器
超参数(hyperparameters)是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。
在深度神经网络中,超参数的调整是一项必备技能。通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态,及时调整超参数以更科学地训练模型能够提高资源利用率
深度学习主要超参数: