如果仅从测试误差出发,标准梯度下降的效果会比随机梯度下降要好。但是标准梯度下降的训练时间会比随机梯度下降要长。像线性回归这种简单的模型,训练时间的优先级不高,所以用标准梯度下降会比随机梯度下降要好。像神经网络这种复杂的模型,训练时间的优先级比较高,所以用随机梯度下降比较好。如果模型的损失函数是凸函数,那么使用标准梯度下降一定能达到全局最优。如果模型比较复杂,容易进入局部最优,那么使用随机梯度下降会发生震荡,容易从局部最优中跳出,进入全局最优。
另外,神经网络模型不使用标准梯度下降最重要的原因是神经网络容易过拟合,而不是训练时间。
(请教大神的答案)
本文对比了标准梯度下降和随机梯度下降两种方法,在不同类型的模型中的应用效果。对于简单模型如线性回归,标准梯度下降更优;而对于复杂模型如神经网络,则推荐使用随机梯度下降。
1241

被折叠的 条评论
为什么被折叠?



