上节我们说到了用梯度下降法求参数最小值。
这节我们介绍几种快速梯度下降的方法:
1.梯度下降法实践 1-特征缩放:该方法就是将特征的尺度归一化
由上图可以看出,归一化能后帮助梯度下降算法更快的收敛。
梯度下降法实践 2-学习率
梯度下降算法的每次迭代受到学习率的影响,如果学习率?过小,则达到收敛所需的迭
代次数会非常高;如果学习率?过大,每次迭代可能不会减小代价函数,可能会越过局部最
小值导致无法收敛。
通常可以考虑尝试些学习率:
? = 0.01,0.03,0.1,0.3,1,3,10
机器学习笔记(二)
最新推荐文章于 2024-02-13 16:45:00 发布