一路前行

对于神经网络的调试，如何找到一组合适的超参数呢，下面分享一些神经网络调参的方法与技巧。在使用神经网络时有许多参数需要调整，比如学习速率、Momentum（动量梯度下降法）的参数beta，Adam优化算法的参数，beta1，beta2，神经网络层数，不同层中隐藏单元数量，学习率衰减等。这些参数的调整也是有优先级顺序的，其中的一些应该优先调整，而另一些可能完全不用调整。   首先应该调整的是学

一、神经网络优化 SGD的问题随机梯度下降可能是在机器学习和深度学习中应用最为广泛的优化算法，但其有时学习会非常慢，特别是当梯度在水平和竖直方向上不均衡时，如下图所示：在竖直方向上，梯度下降很快，而在水平方向上，梯度下降比较慢。这样，当采用随机梯度下降时，它会在竖直方向上下降的快而在水平方向上收敛的慢，这样优化路线就会如上如所示在窄轴上来回震荡。动量因为随机梯度下降算法所存

一、激励函数的选取 常见的激励层函数有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxoutsigmoid函数如下所示：sigmoid函数是早期用的比较多的激励函数，但现在已经不常用了。主要是当输入特别大或者特别小时，sigmoid函数的偏导数趋于0，这样在使用反向传播算法时将会出现问题,并且sigmoid函数不是关于原点对称的，这样在进行反向传

一、卷积神经网络层级结构卷积神经网络层次结构包括：数据输入层/ Input layer 卷积计算层/ CONV layer 激励层 / ReLU layer 池化层 / Pooling layer 全连接层 / FC layer 卷积计算层如上图图所示，左边为数据集，右边为一个神经网络窗口：卷积计算层会在数据集上选定一个窗口，从窗口内选择数据