机器学习 day08（如何判断梯度下降算法收敛，即何时停止训练模型）

1. 画学习曲线图

• x轴是梯度下降算法的迭代次数，y轴是成本函数J的值
• 梯度下降算法的目的是：找到一组w和b，让成本函数J最小
• 学习曲线图可以帮助我们查看成本函数J如何变化。如果梯度下降算法工作正常，那么成本函数J在每次迭代后都会减少。如果成本函数J在一次迭代后增加，那意味着学习率α可能选的太大，或代码有bug。
• 学习曲线图还可以帮助我们判断，梯度下降算法是否收敛。当学习曲线平坦时，梯度下降算法收敛。

2. 自动收敛测试

• ε表示一个很小的数，如0.001。
• 当一次迭代后，成本函数J的减少幅度小于ε，那么曲线很可能位于平坦部分，即梯度下降算法收敛，即找到一组w和b使成本函数J最小，或接近最小。
• 因为找到这样一个正确的ε比较难，所以还是推荐采用画学习曲线图的方法，来判断梯度下降算法是否收敛，以及在多少次迭代后训练模型可以完成训练