pytorch 之 nn.BatchNorm2d(oup)( 100 )

先看看解释。。。。。


然后。。。我的疑惑在于:

网络片段:

nn.Conv2d(inp, oup, 3, stride, 1, bias=False),
nn.BatchNorm2d(oup),
nn.ReLU(inplace=True),

我打印model的parameters来查看参数:

打印的为:

0.conv.0.weight : torch.Size([32, 3, 3, 3])
0.conv.1.weight : torch.Size([32])
0.conv.1.bias : torch.Size([32])

和想象中一样:batchNorm中两组可学习参数;

******当我从训练好的模型中打印参数时*******


多了两组::(running_mean,running_var)

千辛万苦后:(给出完美解释)


`nn.BatchNorm2d`是PyTorch库中的一个层,用于实现二维特征图(如图像)上的批量归一化。其主要作用是规范化每个通道的数据分布,以加速网络训练并改善收敛性能。以下是它的基本用法: 1. 参数解读[^1]: - `num_features`: 输入特征的数量,对于卷积神经网络中的每个卷积层,这通常对应于卷积后的通道数。 - `eps`: 一个小数值,防止除以零的情况发生,通常设置为1e-5。 - `momentum`: 动态均值和方差计算的动量,用来平滑统计信息,一般取0.1。 - `affine`: 是否学习可学习的缩放和平移因子,默认为True,如果设为False,则不学习这些参数。 - `track_running_stats`: 是否跟踪长期运行的平均值和方差,可以节省内存但可能影响模型的迁移性。 - `device` 和 `dtype`: 分别指定张量设备和数据类型。 2. 示例[^2]: ```python import torch from torch.nn import nn # 创建带可学习参数的BN层 m = nn.BatchNorm2d(100) # 创建无可学习参数的BN层(仅做规范化) m_without_params = nn.BatchNorm2d(100, affine=False) # 假设我们有一个输入数据 input_data = torch.randn(20, 100, 35, 45) # 应用BN层到输入上 output = m(input_data) ``` 使用时,先创建`nn.BatchNorm2d`对象,然后通过调用其`forward()`方法对输入数据进行归一化处理。注意,如果你希望BN层在整个训练过程中保持不变,可以设置`affine=False`来固定其转换参数。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值