mxnet学习笔记（二）——训练器Trainer()函数详解

CV_Coder__

已于 2023-06-09 11:10:39 修改

阅读量5.4k

点赞数 5

分类专栏：深度学习文章标签： mxnet 人工智能深度学习

于 2019-04-19 17:14:53 首次发布

本文链接：https://blog.csdn.net/weixin_42071277/article/details/89403281

版权

16 篇文章 1 订阅

订阅专栏

mxnet中 gluon.Trainer()是注册优化器的函数

trainer=gluon.Trainer(net.collect_params(),'sgd',{'learning_rate':lr})

在with autograd.record():之后结合trainer.step(batch_size)更新网络权值

gluon.Trainer()的参数为：

params：net.collect_params(),一个类似于字典的类型

optimizer：字符串（优化器名称）

optimiter_parameter:字典类型（用于设置优化器参数{‘learning_rate’:lr,‘wd’：wd}

1、Trainer中首相将params装换为list类型->_params，之后用于trainer.step(batch_size)->调用内部函数_update()更新_params的权值

2、初始化优化器_init_optimizer(optimizer, optimizer_params),将_params转换为{i：param}的字典param_dict，然后调用

import optimizer as opt
self._optimizer = opt.create(optimizer, param_dict = param_dict, **optimizer_params)

3、create调用create_optimizer(name， **kwarg)返回与name相对应的优化器

4、在import optimizer as opt时其实已经运行了register函数，将所有的优化器类注册进了opt_registry字典，优化器类都被@register修饰，import时使用register函数进行了注册

关注