chen_kl86的博客

原创 torch.nn.BatchNorm1d和torch.nn.BatchNorm2d

在计算观测数据batch的均值和方差的时候是对batch的同一通道上的所有元素进行统计计算，假设输入数据为。模型处于训练阶段，每作一次归一化，模型都需要更新参数running_mean和running_var，即跟踪每个batch数据的均值和方差。需要注意的是：running_mean和running_var更新用的无偏的方差，数据归一化用的是有偏的方差。模型无论处于训练或测试阶段，都是利用当前batch的均值和方差做归一化，且不更新模型的均值和方差。为当前观测数据batch的均值或方差，