【pytorch】筛选冻结部分网络层参数同时设置有参数组的时候该怎么办?
在进行神经网络训练的时候,常常需要冻结部分网络层的参数,不想让他们回传梯度。这个其实很简单,其他博客里教程很多~
那如果,我想对不同的参数设置不同的学习率呢?这个其他博客也有,设置参数组就好啦,优化器就可以分别设置学习率了。
那么,如果我同时想冻结参数和设置不同的学习率呢?是不是把两个人给合起来就好了?好的那你试试吧看看行不行。
我最近工作中需要对two-stream的其中的一只进行冻结,并且设置...
原创
2019-04-02 22:28:58 ·
6247 阅读 ·
2 评论