一、实例应用:
if module_def["type"] == "convolutional": # 如果类型是convolutional,添加Con卷积层conv_{module_i}
bn = int(module_def["batch_normalize"])
filters = int(module_def["filters"])
kernel_size = int(module_def["size"])
pad = (kernel_size - 1) // 2
modules.add_module(
f"conv_{module_i}",
nn.Conv2d(
in_channels=output_filters[-1],
out_channels=filters,
kernel_size=kernel_size,
stride=int(module_def["stride"]),
padding=pad,
bias=not bn,
),
)
if bn: # 添加batch_norm_{}层归一化处理,添加BN层batch_norm_{module_i}
modules.add_module(f"batch_norm_{module_i}", nn.BatchNorm2d(filters, momentum=0.9, eps=1e-5))
if module_def["activation"] == "leaky": # leaky处理,添加leaky层leaky_{module_i}
modules.add_module(f"leaky_{module_i}", nn.LeakyReLU(0.1))
二、nn.BatchNorm2d()函数详解:
函数语法格式和作用
torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
**作用:**卷积层之后总会添加BatchNorm2d进行数据的归一化处理,这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定。
参数解释
- num_features:一般输入参数为batch_size×num_features×height×width,即为其中特征的数量
- eps:分母中添加的一个值,目的是为了计算的稳定性,默认为:1e-5
- momentum:一个用于运行过程中均值和方差的一个估计参数
- affine:当设为true时,会给定可以学习的系数矩阵gamma和beta