【干货】深度学习调参秘籍【表格】

深度学习调参秘籍：从优化器到激活函数的全面解析

——让你的深度学习模型性能飙升的八大技巧

参考文献：

深度学习调参有哪些技巧？ - 知乎 https://www.zhihu.com/question/25097993

核心结论：深度学习调参是提升模型性能的关键。通过选择合适的优化器、合理设置学习率、调整batch大小、利用随机种子、应用学习率衰减、尝试不同的网络初始化方法、增加各种norm以及选择合适的激活函数，可以有效提升深度学习模型的性能。

【表格】深度学习调参技巧

序号	调参技巧	具体操作	关键参数/组件	备注
1	选择优化器	优先考虑Adam优化器	Adam	对大多数问题都有不错的效果
2	设置学习率	从1e-3、3e-4、1e-4开始尝试，用类似二分的方法迭代搜索最佳学习率	学习率	需要多次尝试以找到最佳设置
3	调整batch大小	并非越大越好，有时减小batch大小能提升网络性能	batch大小	需根据具体任务和硬件资源进行调整
4	利用随机种子	指定批量跑一批随机种子，选loss下降的随机种子进行深度训练	随机种子	适用于数据集不大且性能接近基线系统的情况
5	应用学习率衰减	设置指数衰减的scheduler，衰减率0.99	学习率衰减率	有助于模型在训练过程中逐渐稳定
6	尝试不同的网络初始化方法	尝试除PyTorch默认初始化方法外的其他初始化方法	网络初始化方法	有助于模型在训练初期更容易收敛
7	增加各种norm	为网络增加batchnorm、weightnorm、layernorm、groupnorm等	norm层	有助于提升模型性能，且代码改动不大
8	选择合适的激活函数	优先考虑relu，也可以尝试leakyrelu和prelu	激活函数	relu在大多数情况下表现不错，但也可尝试其他选择

关键点关系描述：

1. 优化器选择是深度学习调参的第一步，Adam优化器因其良好的效果而成为首选。
2. 学习率设置对模型性能有重要影响，需要通过多次尝试和迭代搜索来找到最佳值。
3. batch大小并非一成不变，根据具体任务和硬件资源进行调整，有时减小batch大小能带来意想不到的效果。
4. 随机种子的利用可以在数据集不大且性能接近基线系统时，为模型性能带来突破。
5. 学习率衰减有助于模型在训练过程中逐渐稳定，提高模型的泛化能力。
6. 网络初始化方法的尝试可以帮助模型在训练初期更容易收敛，避免陷入局部最优。
7. 增加norm层是一种有效的提升模型性能的方法，且对代码改动不大。
8. 激活函数的选择也会影响模型性能，relu是常用的选择，但也可以尝试其他激活函数以找到最佳效果。

Keywords：Deep learning, tuning parameters, optimizer, learning rate, batch size, random seed, learning rate decay, network initialization, norm, activation function.

关键词
#深度学习 #调参 #优化器 #学习率 #batch大小 #随机种子 #学习率衰减 #网络初始化 #norm #激活函数