【pytorch】冻结网络踩坑

普通conv和fc层的冻结方式：

# 冻结参数
for i, p in enumerate(self.model.parameters()):
    if i <= 66:
        p.requires_grad = False

# 验证一下是否成功冻结参数
for k, v in self.model.named_parameters():
    print("k:{} v:{} ".format(k, v.requires_grad))

注意：model.parameters()都在梯度回传的更新过程中，所以可以用param.requires_grad = False的方式冻结，但是对于一些BN层的参数，比如BN层的runing_mean和runing_var，这两个值是前向计算统计得来的，并没有在梯度回传的更新过程中。所以，param.requires_grad=False对它们不起任何作用！

踩坑：

我的目的：在共用一个主干网络的多任务学习中，完全冻结其中一个表现较好的任务1分支，只训练其他两个任务：任务2分支和任务3分支。

结果：我以为用 “param.requires_grad=False” 的方式可以冻结任务1分支的所有参数，然后我发现我错了，冻结完，在验证过程中，我发现任务1的表现居然变差了。

验证：打印参数值，发现任务1的卷积层和全连接层参数不变（被成功冻结），只有BN层的runing_mean和runing_var发生了改变（未被冻结），应该就是他们的问题。