pytorch 之 torch.nn.functional.LayerNorm()

torch.nn.LayerNorm(
        normalized_shape: Union[int, List[int], torch.Size],
        eps: float = 1e-05,
        elementwise_affine: bool = True)
————————————————
 

LayerNorm前向传播（以normalized_shape为一个int举例）

如下所示:

输入数据的shape是(3, 4)

此时normalized_shape传入4（输入维度最后一维的size）

则沿着最后一维（沿着最后一维的意思就是对最后一维的数据进行操作）求和，并用这两个结果把batch沿着最后一维归一化，使其均值为0，方差为1。归一化公式用到了eps()，即。
tensor = torch.FloatTensor([[1, 2, 4, 1],
                                                [6, 3, 2, 4],
                                                [2, 4, 6, 1]])

此时，（有偏样本方差），归一化后的值如下，

举例说明：第0行第2列的数字4，减去第0行的均值2.0等于2，然后除以即2/1.224749≈1.6330。
[[-0.8165,  0.0000,  1.6330, -0.8165],
 [ 1.5213, -0.5071, -1.1832,  0.1690],
 [-0.6509,  0.3906,  1.4321, -1.1717]]

如果elementwise_affine==True，则对归一化后的batch进行仿射变换，即乘以模块内部的weight（初值是[1., 1., 1., 1.]）然后加上模块内部的bias（初值是[0., 0., 0., 0.]），这两个变量会在反向传播时得到更新。

如果elementwise_affine==False，则LayerNorm中不含有weight和bias两个变量，只做归一化，不会进行仿射变换。
总结

在使用LayerNorm时，通常只需要指定normalized_shape就可以了。