- 博客(2)
- 收藏
- 关注
RSS订阅原创 【Pytorch深度学习实践】笔记二 【梯度下降】
虽然梯度下降算法存在着这样的问题，但是它依然被广泛应用于深度学习之中，因为在深度学习模型所使用的激活函数中“局部最优”的问题并不显著，反而更应该关注“鞍点”梯度消失的问题。如下图，图中cost是对所有样本loss的加权平均，即上一讲中提到的MSE。可以辅助解决“鞍点”的问题，因为在真实场景中采集到的数据都是有噪声的，噪声带进来的随机偏差就有可能帮助训练走出“梯度消失”的困境；但是因为每两个数据点之间的训练是相互关联的，所以随机梯度下降算法中对于不同数据点函数值的计算不可以采取并行的技术；
2023-04-26 21:49:07
61
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人