本文探讨了梯度下降法在机器学习和深度学习中的应用，用于找到误差函数的最小值。讨论了在高维和低维问题中的适用性，以及一维和多维情况下的求解策略。在算法实现中，介绍了初始化、步长选择和调优等关键步骤，并分析了梯度下降可能遇到的局部极小值和鞍点问题，提出了包括随机梯度下降、动量法和优化起点调整在内的解决方案。同时，还提及了梯度计算、梯度消失与爆炸现象及对应的缓解措施，并对比了梯度下降法与牛顿法的差异。
一、梯度下降能实现什么？
找到某个函数的极小值或最小值
二、解决问题的类型
高维，>1000维
纬度低，数据量小的情况下选择最小二乘法
三、找误差函数的最小值
一维情况：导数为0的点为最小值点（凸函数）或极小值点（非凸）
多维情况：就是求偏导数，以向量的形式表示。
策略
导数为负的时候增加自变量
导数为正的时候减小自变量
直到导数接近于0
四、算法实现
初始化：权重w1、w2、…wn；终止距离e；步长a
1、计算当前位置的损失函数的梯度G
2、计算距离=步长a*梯度G
3、判断当前距离是否小于终止距离e
4、不满足3时更新w，直到满足。更新规则：wi=wi-a*梯度
调优
步长的选择
初始值的选择
归一化处理
订阅专栏 解锁全文
扫一扫
627
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
