pytorch layer normalization如何使用

层归一化的调用命令：

torch.nn.LayerNorm(normalized_shape, eps=1e-05, elementwise_affine=True, device=None, dtype=None)

相应运算的数学表示为：$$y=\frac{x-E[x]}{\sqrt{Var[x]+ϵ}}\ast \gamma +\beta$$
其中$E[x]$表示expectation，$Var[x]$表示variance, $\beta ,\gamma$是可学习参数，$ϵ>0$是一个任意小的数字。

在CV中的应用案例

Image processing Example

 N, C, H, W = 12, 3, 256, 256
 input = torch.randn(N, C, H, W)  # input data
 # Normalize over the last three dimensions (i.e. the channel and spatial dimensions)
 # as shown in the image below
 layer_norm = nn.LayerNorm([C, H, W])
 output = layer_norm(input)