ML/DL模型调参：深度学习神经网络超参数调优简介、自适应调参、基于网格搜索(逐个调优，如batch_size/epoch/lr/优化器/激活函数/Dropout 正则化/神经元个数等)

ML/DL模型调参：深度学习神经网络超参数调优简介、自适应调参、基于网格搜索(逐个调优，如batch_size/epoch/lr/优化器/激活函数/Dropout 正则化/神经元个数等)

目录

神经网络的参数调优

1、神经网络的通病—各种参数随机性

2、评估模型学习能力

2.1、如何评估模型

2.2、深度学习中，难以采用大数据集去评估模型—可采用重复多次随机实验

可视化理解神经网络调参：层数、batch大小，学习率+激活函数+正则化

自适应调参

自适应调整学习率实现代码(每隔50个epoch其学习率减小为原来的1/10)

对深度学习模型的超参数采用网格搜索

1、概述

2、如何在scikit-learn中使用Keras模型

3、如何在scikit-learn中使用网格搜索

4、问题描述

4.1、Note on Parallelizing Grid Search

4.2、如何调整batch的大小和epochs的数量

4.3、如何优化训练优化算法—选择优化器(SGD/RMSprop/Adagrad/Adadelta/Adam/Adamax/Nadam)

4.4、如何调整学习率和动力

4.5、如何调整网络权值初始化

4.6、如何调节神经元的激活功能

4.7、如何调整Dropout 正则化

4.8、如何调节隐藏层神经元的数量

5、超参数优化技巧

6、总结

---

相关文章

ML/DL模型调参：机器学习和深度学习中超参数调优(整体调优)的简介(评估指标/过拟合)、常用调参优化方法(手动调参/随机调参/网格调参/贝叶斯调参)之详细攻略 
ML/DL模型调参：深度学习神