【深度学习-优化策略】

关于机器学习中的优化算法和神经网络训练技巧的介绍

随机梯度下降（SGD）：在神经网络训练的早期阶段，通常使用随机梯度下降（SGD）方法，每次更新参数时仅考虑单个样本的梯度，这会引入随机性，可能导致参数更新不稳定和收敛速度缓慢的问题。

批量梯度下降（Batch Gradient Descent）：为了解决SGD的不稳定性，引入了批量梯度下降。它在更新参数时考虑整个训练数据集的平均梯度，从而减少了参数更新的波动，加快了收敛速度。

动量（Momentum）：考虑到梯度为0可能对后续结果产生影响，动量被引入以进一步减少参数更新的波动。动量的引入允许以前的梯度方向和运动方向来决定当前的运动方向，从而平滑参数更新的方向，提高了训练的稳定性。

学习率调整：随着训练的进行，学习率的大小对训练效果至关重要。一开始可以选择较大的学习率以加快收敛，但随着训练的进行，逐渐减小学习率可以更精细地调整参数，避免错过最优解。此外，自适应学习率方法也被广泛采用，它能够针对不同参数给出不同的学习率，例如考虑附近的梯度变化或分段考虑时间和权重。

激活函数选择：在神经网络中，选择合适的激活函数对模型性能至关重要。传统的sigmoid激活函数容易出现梯度消失问题，因此ReLU等激活函数被广泛采用，它们能够更好地解决梯度消失问题。

权重衰减（Weight Decay）：为了防止过拟合和提高泛化能力，引入了权重衰减技术，即在损失函数中添加一个正则项，对过大的权重值进行惩罚，从而使得模型更