深度学习这么调参训练_聊一聊深度学习中的调参技巧？

本期问题能否聊一聊深度学习中的调参技巧？

我们主要从以下几个方面来讲.1. 深度学习中有哪些参数需要调？

2. 深度学习在什么时候需要动用调参技巧？又如何调参？

3. 训练网络的一般过程是什么？

1. 深度学习有哪些需要们关注的参数呢？

大家记住一点：需要用到调参技巧的参数都是超参数！！因此，这个问题还可以换成更专业一点：神经网络中有哪些超参数？主要从两个方面来看：和网络设计相关的参数：神经网络的网络层数、不同层的类别和搭建顺序、隐藏层神经元的参数设置、LOSS层的选择、正则化参数

和训练过程相关的参数：网络权重初始化方法、学习率使用策略、迭代次数、小批量数据 minibatch的大小、输入数据相关

2. 深度学习在什么时候需要动用调参技巧，以及如何进行调参呢？

通常网络训练的结果一般表现为以下五种情况：过拟合、欠拟合、恰好拟合，趋于收敛但一直在震荡以及完全不收敛。关于过拟合、欠拟合和恰好拟和，在机器学习中的定义描述如下：(不知道的可以移步此博客：https://www.imooc.com/article/44090 )

过拟合、欠拟合、恰好拟合的现象，从图像看就表现成如下：

我们分别来看一下，在这几种种情况下，需要考虑调整哪些参数？

先上图：

首先来看恰好拟合的情况！

恰好拟合ÿ