学习率实际和信号分析里的时间常数是一样的，学习率越小学习会越精细，但同时学习速度也会降低，因为现实中很多模型都是非线性的，犹如一条曲线，梯度下降采用很多小直线迭代去逼近非线性的曲线，如果每一步跨度太大（学习率）就会失去很多曲线的扭曲信息，局部直线化过严重，跨度太小你要到达曲线的尽头就需要很多很多步，这就需要更多的样本，所以这个也要考虑实际问题再来决定学习率的。另外可以使用变动的学习率，在误差大的时候增大学习率，等误差小了再减小学习率，这样可以收敛更快，学习效果更好，不易陷入局部极小化。
人工神经网络算法的学习率有什么作用？
1、神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等）。
2、这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。
3、然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这样不断的迭代下去，目标函数（神经网络中的预测误差）也不断下降，最终就能找到一个解，使得目标函数（预测误差）比较小。
4、而在寻解过程中，步长太大，就会搜索得不仔细，可能跨过了优秀的解，而步长太小，又会使寻解过程进行得太慢。因此，步长设置适当非常重要。
5、学习率对原步长（在梯度下降法中就是梯度的长度）作调整，如果学习率lr=0.1,那么梯度下降法中每次调整的步长就是0.1*梯度，6、而在matlab神经网络工具箱里的lr,代表的是初始学习率。
因为matlab工具箱为了在寻解不同阶段更智能的选择合适的步长，使用的是可变学习率，它会根据上一次解的调整对目标函数带来的效果来对学习率作调整，再根据学习率决定步长。
谷歌人工智能写作项目：神经网络伪原创
最低0.47元/天 解锁文章
5329
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
