每天五分钟深度学习框架pytorch:BatchNorm1d和BatchNorm2d的使用

batchNorm的优点

• 更快的训练速度：由于 BatchNorm 的权重分布差异很小，我们可以使用更高的学习率来训练网络，让我们朝向损失函数最小的方向前进。
• 改进网络正则化：通过 BatchNorm 可以使网络在训练的时候，每个 batch 里的数据规范化都是不一样的，有助于减少网络过拟合。

原理

使用这种归一化技术可以保证网络每次接受的输入都是均值 0 标准差 1

BatchNorm1d

class torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True)

参数解析：

num_features： 来自期望输入的特征数，该期望输入的大小为[batch_size,num_features [width]],width可有可无
eps： 为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
momentum：