pytorch load state dict_pytorch源码阅读（二）optimizer原理

pytorch包含多种优化算法用于网络参数的更新，比如常用的SGD、Adam、LBFGS以及RMSProp等。使用中可以发现各种优化算法的使用方式几乎相同，是因为父类optimizer【1】定义了各个子类（即SGD等）的核心行为，下面是optimizer类注释：

class 

其中首句“所有优化器的基类” 表明所有的优化器都必须继承optimizer类，下面来分析optimizer类的的各个实例函数。

1、初始化__init__()

def 

优化器需要保存学习率等参数的值，所以optimizer类需要用实例属性来存储这些参数，也就是__init__()中的self.param_groups，下面的代码通过一个全连接网络来测试优化器的param_groups包含哪些参数：

net 

得到：

[{

其中2x2的矩阵是net的权重矩阵，1x2为偏置矩阵，其余为优化器的其它参数，所以说param_groups保存了优化器的全部数据，这个下面的state_dict()不同。

2、优化器状态state_dict()

def 

查看上一节定义的optimizer的state_dict（）：

print

可以到优化器的完整参数如下：

[{

3、优化器参数加载load_state_dict（）

上一节中的state_dict()负责提取优化器的参数，可以保存到本地用于下次训练恢复使用，对应的必然有load_state_dict（）用于优化器参数的加载，其源码如下：

def 

为了测试state_dict（）和load_state_dict（），可以首先存储一个学习率为100的优化器的参数到本地：

optimizer_old 

现在这个优化器的参数已经存储到本地，然后将这个优化器参数重新加载给一个新的学习率为0.01优化器：

optimizer_new 

得到new优化器的学习率不是0.01，而是old优化器的学习率100：

[{

4、梯度清空zero_grad()

在网络优化过程中optimizer.zero_grad()函数需要被显式调用，负责清空其关联网络的参数梯度值，其源码如下：

def 

这个遍历过程就是获取optimizer的param_groups属性的字典，之中的["params"]，之中的所有参数，通过遍历设定每个参数的梯度值为0。

5、单步更新step()

def 

优化器的step()函数负责更新参数值，但是其具体实现对于不同的优化算法是不同的，所以optimizer类只是定义了这种行为，但是并没有给出具体实现。

6、总结

优化算法部分的代码并不多，但是不同的优化算法涉及的概念较多，看懂各种算法的实现需要很强的数学功底。optimizer类定义了各种优化算法的公共行为与抽象方法，是典型的面向对象的继承思想。

参考：

【1】https://github.com/pytorch/pytorch/blob/master/torch/optim/optimizer.py