mxnet fine-tune

网络finetune时，有两种思路，微调整个网络或者仅仅微调网络后几层，现以finetune mobilefacenet为例，加载预训练模型，并固定参数，仅训练自己添加的全连接层 

 

通过查找发现fixed_param_names可达到fix的效果，代码如下

symbol, arg_params, aux_params = mx.model.load_checkpoint('model-y1-arcface', 0000)    
all_layers = symbol.get_internals()    
net = all_layers['fc1_output']    
fixed_names=net.list_arguments()



model = mx.module.Module(symbol=symbol, context=devs,fixed_param_names=fixed_names)

但是实际运行时，发现参数还是发生变化了，通过多方查找和分析，才知道，因为mobilefacenet的BN中，添加了momentum=0.9,即使固定了参数，但训练后整体参数还是会发生变化，所以应该将mobilefacenet中的momentum改为1,但是如何修改呢

 

mxnet中网络模型存为params和json两种文件，load_checkpoint后得到symbol，arg_params,aux_params，其中arg_params中存储网络可训练参数，aux_params中存的是网络固定参数，例如均值和方差等，打开发现json发现里面有mean，var等，大胆猜测一波，json里面存的就是网络模型和未训练参数（不知道是不是全部），ctrl+f发现里面竟然也有momentum？？？？？？，进一步发现momentum后面的0.9和mobilefacenet网络定义时BN层中0.9是那么的相似，emmmmmm一个邪恶的想法诞生了---暴力将json中momentum指定为1，重新训练

 

有趣的事情发生了，参数不变了！！！！！不可思议！！！！

 

好了到这里了，如果这个方法对大家有效，记着留个赞啊，如果没用的话，那我只想说：

                                      关我屁事

哈哈哈，最后附关键代码