python batchnorm2d_BatchNorm2d()理解

BatchNorm2d()理解

基本原理

在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定，BatchNorm2d()函数数学原理如下：

BatchNorm2d()内部的参数如下：

1.num_features：一般输入参数为batch_sizenum_featuresheight*width，即为其中特征的数量

2.eps：分母中添加的一个值，目的是为了计算的稳定性，默认为：1e-5

3.momentum：一个用于运行过程中均值和方差的一个估计参数(我的理解是一个稳定系数，类似于SGD中的momentum的系数)

4.affine：当设为true时，会给定可以学习的系数矩阵gamma和beta

上面的讲解还不够形象，我们具体通过如下的代码进行讲解：

代码演示

#encoding:utf-8

import torch

import torch.nn as nn

#num_features - num_features from an expected input of size:batch_sizenum_featuresheight*width

#eps:default:1e-5 (公式中为数值稳定性加到分母上的值)

#momentum:动量参数，用于running_mean and running_var计算的值，default：0.1

m=nn.BatchNorm2d(2,affine=True) #affine参数设为True表示weight和bias将被使用

input=torch.randn(1,2,3,4)

output=m(input)

print(input)

print(m.weight)

print(m.bias)

print(output)

print(output.size())

具体的输出如下：

tensor([[[[ 1.4174, -1.9512, -0.4910, -0.5675],

[ 1.2095, 1.0312, 0.8652, -0.1177],

[-0.5964, 0.5000, -1.4704, 2.3610]],

[[-0.8312, -0.8122, -0.3876, 0.1245],

[ 0.5627, -0.1876, -1.6413, -1.8722],

[-0.0636, 0.7284, 2.1816, 0.4933]]]])

Parameter containing:

tensor([0.2837, 0.1493], requires_grad=True)

Parameter containing:

tensor([0., 0.], requires_grad=True)

tensor([[[[ 0.2892, -0.4996, -0.1577, -0.1756],

[ 0.2405, 0.1987, 0.1599, -0.0703],

[-0.1824, 0.0743, -0.3871, 0.5101]],

[[-0.0975, -0.0948, -0.0347, 0.0377],

[ 0.0997, -0.0064, -0.2121, -0.2448],

[ 0.0111, 0.1232, 0.3287, 0.0899]]]],

grad_fn=)

torch.Size([1, 2, 3, 4])

分析：输入是一个1234 四维矩阵，gamma和beta为一维数组，是针对input[0][0]，input[0][1]两个34的二维矩阵分别进行处理的，我们不妨将input[0][0]的按照上面介绍的基本公式来运算，看是否能对的上output[0][0]中的数据。首先我们将input[0][0]中的数据输出，并计算其中的均值和方差。

print(“输入的第一个维度:”)

print(input[0][0]) #这个数据是第一个3*4的二维数据

#求第一个维度的均值和方差

firstDimenMean=torch.Tensor.mean(input[0][0])

firstDimenVar=torch.Tensor.var(input[0][0],False) #false表示贝塞尔校正不会被使用

print(m)

print(‘m.eps=’,m.eps)

print(firstDimenMean)

print(firstDimenVar)

输出结果如下：

输入的第一个维度:

tensor([[ 1.4174, -1.9512, -0.4910, -0.5675],

[ 1.2095, 1.0312, 0.8652, -0.1177],

[-0.5964, 0.5000, -1.4704, 2.3610]])

BatchNorm2d(2, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

m.eps= 1e-05

tensor(0.1825)

tensor(1.4675)

我们可以通过计算器计算出均值和方差均正确计算。最后通过公式计算input[0][0][0][0]的值，代码如下：

batchnormone=((input[0][0][0][0]-firstDimenMean)/(torch.pow(firstDimenVar,0.5)+m.eps))

*m.weight[0]+m.bias[0]

print(batchnormone)

输出结果如下：

tensor(0.2892, grad_fn=)

batchnorm2d()中的参数为实际的输入的特征数也就是通道数，对其进行归一化的时候，每个通道分别对应batchnorm2d()的参数。

如：

bn = nn.BatchNorm2d(4)

那么bn.weight.shape应该是(4，)

也就是说在归一化中第一个通道用到的均值和方差以及gamma均为bn.weight.data[0]

————————————————

原文链接：https://blog.csdn.net/bigFatCat_Tom/article/details/91619977