Pytorch优化器Optimizer

损失函数的作用是衡量模型的输出与真实标签之间的差异，有了这个差异(loss)后，如何使用这个loss去更新模型中的参数，使得loss逐渐降低呢？这就是优化器所要完成的工作。

什么是优化器

损失函数会得到一个loss值，即模型输出与真实标签之间的差异，然后采用pytorch中的自动梯度求导模块来求导模型中的参数的梯度，在模型中就可以得到对每一个可学习参数的梯度grad，有了梯度之后，优化器拿到梯度进行一系列的优化策略，更新模型中的参数，然后模型中的参数会使得loss值下降。
因此优化器的作用是采用梯度来更新模型中的可学习参数，进一步使得模型的输出与真实标签之间的差异更小，即实现loss值下降。
**pytorch的优化器：**管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。

• 管理：优化器去管理哪一部分参数，可以去修改哪一部分参数；
• 更新：优化器中会有一些优化的策略，使用优化策略来更新可学习参数的值。更新策略在神经网络中通常会采用梯度下降这个策略或方法。

**导数：**函数在指定坐标轴上的变化率
**方向导数：**指定方向上的变化率。方向有多个，就会有多个方向上的变化率
**梯度：**一个向量，方向为方向导数取得最大值的方向，模长为方向导数的值，即方向导数的变化率。梯度的方向是使得在当前点增长最快的方向。

optimizer的属性

基本属性：

• defaults:优化器超参数
• state:参数的缓存，如momentum的缓存
• param_groups:管理的参数组，列表类型。param_groups = [ {‘params’ : param_groups} ]
• _step_count:记录更新次数，学习率调整中使用

optimizer的方法

zero_grad()：清空所管理参数的梯度
pytorch特性：张量梯度不自动清零

def zero_grad(self):
	for group in self.param_groups:
		for p in group['params']:
			if p.grad is not None:
				p.grad.detach_()
				p.grad.zero_()

step()：执行一步更新
add_param_group()：添加参数组

def add_param_group(self, param_group):
	for group in self.param_groups:
		param_set.update(set(group['params']))
	self.param_groups.append(param_group)

state_dict()：获取优化器当前状态信息字典

def state_dict(self):
	… …
	return {
		'state':packed_state,
		'param_groups':param_groups
	}

load_state_dict()：加载状态信息字典

def load_state_dict(self, state_dict):
	……