pytorch不同部分不同学习率

思路

使用过滤器把不同的模块筛选出来，设置不同的学习率。
双卡可能会报DataParallel错误。

代码

双卡

encoder1 = list(map(id, net.module.encoder1.parameters()))
encoder2 = list(map(id, net.module.encoder2.parameters()))
encoder3 = list(map(id, net.module.encoder3.parameters()))
encoder4 = list(map(id, net.module.encoder4.parameters()))
base_params = filter(lambda p: id(p) not in encoder1 + encoder2 + encoder3 + encoder4, net.parameters())
# print(base_params)
optimizer = optim.Adam([{'params': base_params}, 
{'params': net.module.encoder1.parameters(), 'lr': 0.0001}, 
{'params': net.module.encoder2.parameters(), 'lr': 0.0001},
{'params': net.module.encoder3.parameters(), 'lr': 0.0001}, 
{'params': net.module.encoder4.parameters(), 'lr': 0.0001},
], lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)

理由： net.module下才定义了不同模块的类。

---

单卡

encoder1 = list(map(id, net.encoder1.parameters()))
encoder2 = list(map(id, net.encoder2.parameters()))
encoder3 = list(map(id, net.encoder3.parameters()))
encoder4 = list(map(id, net.encoder4.parameters()))
base_params = filter(lambda p: id(p) not in encoder1 + encoder2 + encoder3 + encoder4, net.parameters())
# print(base_params)
optimizer = optim.Adam([{'params': base_params}, 
{'params': net.encoder1.parameters(), 'lr': 0.0001}, 
{'params': net.encoder2.parameters(), 'lr': 0.0001},
{'params': net.encoder3.parameters(), 'lr': 0.0001}, 
{'params': net.encoder4.parameters(), 'lr': 0.0001},
], lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)