【深度之眼】Pytorch框架班第五期-Week4【任务2】第二节：优化器optimizer的概念

什么是优化器

pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。

导数：函数在指定坐标轴上的变化率。
方向导数：指定方向上的变化率

梯度：一个向量，方向为方向导数取得最大值的方向。

optimizer

class Optimizer(object):
	def __init__(self, params, defaults):
		self.defaults = defaults
		self.state = defaultdict(dict)
		self.param_groups = []
		.
		.
		.
		param_groups=[{'params': param_groups}]

defaults:优化器超参数
state: 参数的缓存，如momentum的缓存
param_groups: 管理的参数组
_step_count: 记录更新次数，学习率调整中使用

基本方法

zero_grad(): 清空所管理参数的梯度
pytorch特征：张量梯度不自动清零

class Optimizer(object):
	def zero_grad(self):
		for group in self.param_groups:
			for p in group['params']:
				if p.grad is not None:
				p.grad.detach_()
				p.grad.zero_()

step(): 执行一步更新

add_param_group():添加参数组

class Optimizer(object):
	def add_param_group(self, param_group):
		for group in self.param_groups:
			param_set.update(set(group['params']))
		self.param_groups.append(param_group)

state_dict():获取优化器当前状态信息字典
load_state_dict(): 加载状态信息字典
class Optimizer(object):
def state_dict(self):
return {‘state’: packed_state, ‘param_groups’: param_groups}
def load_state_dict(self, state_dict):