使用梯度下降法就是需要让代价函数J(theta)随着迭代的次数不断下降,当代价函数趋于平滑,几乎不发生变化的时候就说函数已经收敛了,也可以通过
自动收敛测试来判断代价函数是否收敛(判断条件就是:代价函数在相邻两次的迭代中变化小于某个数值,
注不同情况该值不确定)更倾向于绘制'迭代次数-代价函数'曲线来判断是否达到收敛状态。
正常情况下,绘制的“
迭代次数-代价函数”曲线是单调下降的,如果出现单调上升的情况,则很可能是选择的学习率太大了,需要降低学习率的取值,如果函数出现不断的跌宕起伏情况,需要降低学习率,如图所示。
如果曲线一开始就下降很慢,可以考虑增加学习率。
![](https://i-blog.csdnimg.cn/blog_migrate/35d68d011b7f2edecd16db2783fc744c.png)