chenwuder678的博客

虽然梯度下降算法存在着这样的问题，但是它依然被广泛应用于深度学习之中，因为在深度学习模型所使用的激活函数中“局部最优”的问题并不显著，反而更应该关注“鞍点”梯度消失的问题。如下图，图中cost是对所有样本loss的加权平均，即上一讲中提到的MSE。可以辅助解决“鞍点”的问题，因为在真实场景中采集到的数据都是有噪声的，噪声带进来的随机偏差就有可能帮助训练走出“梯度消失”的困境；但是因为每两个数据点之间的训练是相互关联的，所以随机梯度下降算法中对于不同数据点函数值的计算不可以采取并行的技术；

刘二大人pytorch深度学习实践课后作业