第一、画出代价函数和迭代次数的曲面观察代价函数是否收敛;
第二、利用一个算法检测代价函数是否已经收敛;例如代价函数的下降小于一个很小的值ε(1*e-3)就认为已经收敛
第三:
应该选择较小的学习率
Summary:
-If α is too small: slow convergence.
-If α is too large: J(θ) may not decrease on every iteration;may not converge.
To choose α,try
...,0.001, 0.003 ,0.01, 0.03 ,0.1, 0.3 ,1,...