[错误用法记录] 参数初始化

[错误用法记录] 参数初始化

使用参数初始化的时候一定要针对类型来初始化，不要一起直接初始化

for p in self.parameters():
    if p.dim() == 1:
        p.data.zero_()

像这样不加判断的直接对所有的一维参数置0，会导致经过nn.LayerNorm后所有的数值全部置0。

因为nn.LayerNorm里面的elementwise_affine默认为True(即有可学习的参数)，进行归一化时的具体操作是 对应位置元素乘上这个参数再加上偏置bias，如果直接像上面那样把所有一维的参数置0了，那乘完之后全部为0了。

import torch
import torch.nn as nn

x = torch.rand(