CNN——学习率LR的参考值范围是符合指数函数的增长规律的

1 致谢

感谢吴恩达老师的教导！

2 前言

今天在学习动物多分类的代码，需要调参，loss从第二个epoch开始就不在下降了，后来发现是学习率的问题，学习率过大，导致loss难以下降，后来陈助教建议我调小了学习率，果然效果就好多了；于是我复习了一下吴教授当时在将机器学习的时候，建议的学习率，他是这样说的，

我记得他好像提过指数函数，于是就感觉这个学习率的建议范围跟指数函数有关，于是就想做实验验证一下；

3 实验过程

我们可以将学习率的参考值范围和指数函数的曲线同时绘制出来，看看它们之间有没有相似之处，

实验代码如下：

import numpy as np  
import matplotlib.pyplot as plt  

x=[0,1,2,3,4,5,6,7,8]  
y=[0.001,0.003,0.01,0.03,0.1,0.3,1,3,10]
# z = np.exp(x)
# 这样直接绘制是会有问题的，因为两个数据的区间不一样，所以需要进行归一化
z = np.exp(x)/np.exp(8)*10

plt.figure()  
plt.plot(x,y,z)

实验结果如图所示：

可以看到，两者的曲线非常的接近，

所以，由此可知，学习率LR的参考值范围是符合指数函数的增长规律的！