pytorch 如何选取初始化学习率

官网：

官方网址：

https://pytorch.org/docs/master/optim.html#

截图：

说明：

调整学习率这一块，pytorch已经提供了一些函数和示例，个人也是先参考官网，然后参考一些其他的博客，然后自己做一些尝试，本文也只是总结一些自己的经验和遇到的问题。推荐大家还是主要使用官网作为学习对象。

博客：

参考博客网址：

https://www.cnblogs.com/wanghui-garcia/p/10895397.html

截图：

说明:

官网只是给出了函数和使用方法，并没有给出具体的效果，不直观。这篇博客给出了每个程序使用方法的完整代码和运行效果。如上图所示。

个人尝试：

pytorch自带方法尝试：

效果图：

说明：

通过个人尝试发现，pytorch自带的学习率调整方式，都是一直下降的调整方式，只是下降的条件不尽相同，为此我遇到的一个问题就是，由于学习率越来越小，结果收敛到了一个局部极小值无法跳出，致使最终结果不理想。

SGDR方法尝试：

参考：

https://mp.weixin.qq.com/s?__biz=MzUxMDc1Mzc0MA==&mid=100002410&idx=3&sn=48fd2c3ecea93cfcabe4427e6cd8c1c8&chksm=797f64c94e08eddfb33d5b47707fc6d0d83a4fc52eedf9ea2aa2fed1248e97589f0a3ebf13f3&mpshare=1&scene=1&srcid=1204CQomiNIIH35zWTxgmvml&sharer_sharetime=1575501406907&sharer_shareid=cef2970ab1918673efec1e4c7d15e626#rd

网络效果图：

pytorch代码：

来自：https://blog.csdn.net/winycg/article/details/87981725

 

个人效果图：

说明：

我选取准确率成上升趋势并且值最高、损失成下降趋势并且值最低的时刻，选取对应的学习率作为初始化学习率。经过测试，该学习率效果较理想，能够较快收敛模型。