【自用】迁移学习finetune之梯度冻结

hehaganster

已于 2024-04-17 19:13:22 修改

阅读量291

点赞数 4

文章标签：迁移学习人工智能机器学习

于 2024-04-17 19:07:19 首次发布

本文链接：https://blog.csdn.net/hehaganster/article/details/137884743

版权

冻结resnet特征提取部分的网络

只训练fc全连接层

LR = 0.01
fc_params_id = list(map(id, resnet18_ft.fc.parameters()))   # 返回的是parameters的内存地址，fc指全连接层
base_params = filter(lambda p: id(p) not in fc_params_id, resnet18_ft.parameters()) # 除全连接层外的参数获取
optimizer = optim.SGD([
    {'params': base_params, 'lr': LR*0},    # 冻结
    {'params': resnet18_ft.fc.parameters(), 'lr': LR}], momentum=0.9)