6、如何调试和选择学习率α

第一、画出代价函数和迭代次数的曲面观察代价函数是否收敛;
第二、利用一个算法检测代价函数是否已经收敛;例如代价函数的下降小于一个很小的值ε(1*e-3)就认为已经收敛

第三:
应该选择较小的学习率
Summary:
-If α is too small: slow convergence.
-If α is too large: J(θ) may not decrease on every iteration;may not converge.
To choose α,try
...,0.001, 0.003 ,0.01,  0.03   ,0.1,  0.3   ,1,...
阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页