本文详细探讨了神经网络的优化技术，包括输入标准化、权重初始化、批归一化以及超参数调试。输入标准化通过减去特征均值和除以标准差来平衡特征分布，减少训练中的振荡。权重初始化对深层神经网络尤其关键，以避免梯度爆炸和消失，介绍了多种初始化方法。批归一化提高了模型的稳定性和训练速度，同时减少协变量漂移。超参数调试是神经网络优化的重要环节，通过网格搜索、随机搜索等方法寻找最佳组合。
上一篇，我们主要介绍了神经网络中几种常见的梯度下降优化算法，包括 Mini-Batch、Momentum、Nesterov Momentum、AdaGrad、RMSprop、Adam、Learning Rate Decay ，并对各自特点进行了说明和对比。本文将重点讲解初始化神经网络的一些技巧以及如何高效进行超参数调试。
网络输入标准化
我们知道，神经网络的输入层是训练样本的各个特征值，而不同特征值的数值范围可能不同。例如训练样本数据中输入层特征是二维的：$[x_1,x_2]$。$x_1$ 的数值范围是 [0, 0.01]，$x_2$ 的数值范围是 [0, 100]，彼此相差了 10000 倍。$x_1$ 与 $x_2$ 之间分布极不平衡，会造成训练得到的权重 $W$ 数值差别很大，参数 $b$ 也是一样。这样的后果会造成运行梯度下降算法时，振荡较大，轻则影响训练速度，重则导致模型无法正确优化，无法获得优质解。
怎么理解呢？下面用图解的方式来说明。
上图显示了损失函数 $J$ 与 $W$ 和 $b$ 的凸函数关系。左边两张图没有进行输入标准化，可见 $J$ 与 $W$ 和 $b$ 呈类似椭圆的形状，这是因为彼此幅值范围不同。根据上文
订阅专栏 解锁全文
扫一扫
2506
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
