吴恩达——机器学习（学习率）

机器学习的一种方法为梯度下降法，即对代价函数进行缩小：

 

                                                     

如图上，横坐标是迭代次数，纵坐标是代价函数，当迭代次数足够大时，代价函数趋于一个极小值。

 

                                                           

但当代价函数出现这样的走向时，说明学习率太大。

 

                                                         

每次迭代都会超过最低点，导致代价函数越来越大，所以需要适当降低学习率。

但是学习率太低会导致机器学习速度太慢，学习率太大就会出现上面的情况，一般学习率的取值选择是这样子的：

0.0001、0.0003、0.001、0.003、0.01、0.03、0.1、0.3、1

逐步取值就好，会取到不错的值。