机器学习优化算法

最新推荐文章于 2022-04-06 21:14:44 发布

码一码码码

最新推荐文章于 2022-04-06 21:14:44 发布

阅读量537

点赞数

文章标签：算法神经网络深度学习

本文链接：https://blog.csdn.net/weixin_39586997/article/details/119326848

版权

本文详细介绍了优化算法在深度学习中的应用，包括批量梯度下降、随机梯度下降、小批量梯度下降、动量优化算法以及自适应学习率优化算法如Adagrad、RMSProp和Adam。还探讨了正则化中的L1和L2以及Bagging和Boosting的区别。这些算法在训练神经网络时，对于提高模型性能和防止过拟合起着关键作用。

摘要由CSDN通过智能技术生成

1.批量梯度下降 BGD

在每一次迭代时使用所有样本来进行梯度的更新
优点：
（1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
（2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。
缺点：

（1）当样本数目 mm 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

2.随机梯度下降 SGD

每次迭代使用一个样本来对参数进行更新。使得训练速度加快。

优点：
（1）由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。
缺点：
（1）准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
（2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
（3）不易于并行实现。

3.小批量梯度下降 MBGD

是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 ** batch_size** 个样本来对参数进行更新。

优点：
（1）通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
（2）每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。(比如上例中的30W，设置batch_size=100时，需要迭代3000次，远小于SGD的30W次)
（3）可实现并行化。
缺点：
（1）batch_size的不当选择可能会带来一些问题。

batch_size的选择带来的影响：
（1）在合理地范围内，增大batch_size的好处：
a. 内存利用率提高了࿰