Pytorch系列2：实现不同层设置不同的学习率

最新推荐文章于 2023-08-12 18:39:35 发布

xddwz

最新推荐文章于 2023-08-12 18:39:35 发布

阅读量2k

点赞数 2

分类专栏：图像处理深度学习 python Pytorch

本文链接：https://blog.csdn.net/xddwz/article/details/90297170

版权

python 同时被 3 个专栏收录

100 篇文章 4 订阅

订阅专栏

图像处理

96 篇文章 10 订阅

订阅专栏

深度学习

29 篇文章 2 订阅

订阅专栏

1、选择要调整的学习率对应的层，这里以conv5为例“

net = net()
lr = 0.001

conv5_params = list(map(id, net.conv5.parameters()))
base_params = filter(lambda p: id(p) not in conv5_params,
                     net.parameters())
optimizer = torch.optim.SGD([
            {'params': base_params},
            {'params': net.conv5.parameters(), 'lr': lr * 100}], lr=lr, momentum=0.9)

2、如果要调整多个层的学习率，以conv4和conv5为例

conv5_params = list(map(id, net.conv5.parameters()))
conv4_params = list(map(id, net.conv4.parameters()))
base_params = filter(lambda p: id(p) not in conv5_params + conv4_params,
                     net.parameters())
params = [{'params': base_params},
          {'params': net.conv5.parameters(), 'lr': lr * 100},
          {'params': net.conv4.parameters(), 'lr': lr * 100}]
optimizer = torch.optim.SGD(params, lr=lr, momentum=0.9)