该博客探讨了深度学习模型中权重和偏置参数的管理。通过遍历模型的参数，将权重和偏置分开管理，使用SGD优化器，对权重应用权重衰减来防止过拟合。文章特别指出对`embedding1.weight`进行特殊处理，这可能涉及到词嵌入的优化。博客提供了详细的代码实现，展示了如何在训练过程中差异化地对待不同类型的参数。
weight_p, bias_p = [],[]
for name, p in model.named_parameters():
if ‘bias’ in name:
bias_p += [p]
else:
weight_p += [p]
optim.SGD([
{‘params’: weight_p, ‘weight_decay’:1e-5},
{‘params’: bias_p, ‘weight_decay’:0}
], lr=1e-2, momentum=0.9)
{}内优先级最高
embedding=[]
for name,p in model.named_parameters():
if ‘embedding1.weight’ in name:
embedding+=[p]
参考：
https://zhuanlan.zhihu.com/p/259159952
扫一扫
2444
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
