深度学习面试1：调参绝杀技

深度学习者若调得一手好参，便可行走江湖，曾经有这样一则新闻，天桥摆摊调参一次50元，想着都很美，毕竟比贴手机膜赚的多的多，那么想要在行业混，首先会调得一手好参，什么是要调的参数，如何调参？如何评估调的参数好呢？。。。。。

什么是要调的参数？

我想你第一反映学习率，毕竟学习率的大小决定你选择的模型是否到达局部最优，如果设置大了，模型可能越过最优值，或者在某个区间反复循环，如果设置小了，模型可能在某个相对平缓且不是局部最小点停止，这里我指的是最初的随机梯度下降法，固定大小的学习率会出现的问题。为了解决这个问题，后面出现了各种优化器克服陷入死循环，取得不是局部最优值的问题，比如下面这些优化器都从不同的角度解决了相应的问题，后面我会逐个分析各个优化器的优缺点。

除了学习率，还有迭代次数、batch、dropout的参数，网络模型构建的参数：包含卷积核的大小，卷积层的深度，卷积池的大小，RNN细胞的个数、RNN的层数等；如果使用logistic.svm等机器学习方法，正则化的系数，SVM中高斯核函数的宽度sigm，KNN中的n等那么对于这些参数如何设定需要根据不同的算法以及对应解决的问题来设定，下面从大的方向上让你获得绝杀