pytorch-网络层初始化记录
为节省时间,特此记录有关pytorch-权重初始化和L2_weight设置的东西。初始化:pytorch 官网有关自然语言处理-权重初始化def init_weights(m: nn.Module): for name, param in m.named_parameters(): if 'weight' in name: nn.init.normal_(param.data, mean=0, std=0.01) else:
原创
2020-10-10 18:26:45 ·
290 阅读 ·
1 评论