nn.BatchNorm2d()函数，BasicConv2d()

BasicConv2d()代码讲解：

class BasicConv2d(nn.Module): #nn.Module是nn中十分重要的类,包含网络各层的定义及forward方法
	
	def __init__(self, in_planes, out_planes, kernel_size, stride, padding = 0):
		 # nn.Module的子类函数必须在构造函数中执行父类的构造函数
		super(BasicConv2d, self).__init__()    # 等价与nn.Module.__init__()
		self.conv = nn.Conv2d(in_planes, out_planes,
								kernel_size = kernel_size, stride = stride,
								padding = padding, bias = False    #如果bias=True，添加偏置
							 ) # verify bias false
		self.bn = nn.BatchNorm2d(out_planes,
								eps=0.001, # value found in tensorflow
								momentum=0.1, # default pytorch value
								affine=True)
		self.relu = nn.ReLU(inplace = True)

	def forward(self, x):   #前向传播
		
		x = self.relu(self.bn(self.conv(x)))
		return x

1*1卷积的作用

1. 降维。500 * 500 * 100的图片在20个filter上面做1 * 1卷积，结果大小为500* 500* 20
2. 加入非线性。卷积层之后经过激励层，1* 1的卷积在前一层的学习表示上添加了非线性激励，提升网络的表达能力
3. 1* 1卷积不改变feature map大小，只改变channel数，相比于3x3卷积，1* 1计算量更小
   （当1* 1卷积出现时，在大多数情况下它作用是升/降特征的维度，这里的维度指的是通道数（厚度），而不改变图片的宽和高。）

nn.BatchNorm2d()函数

作用

根据统计的mean 和var来对数据进行标准化，并且这个mena和var在每个batch中都会进行，为了使得数据更有统计意义，使得整个训练数据的特征都能够被保存，则在每个batch过程中，都会对网络的mean和var进行更新
参考

参数

num_features：一般情况下输入的数据格式为batch_size * num_features * height * width，即为特征数，channel数

eps：分母中添加的一个值，目的是为了计算的稳定性

momentum：一个用于运行过程中均值和方差的一个估计参数，默认值为0.1；
xˆnew=(1−momentum)×xˆ+momentum×xt，其中xˆ是估计值，xt是新的观测值
这个参数越大，代表当前batch产生的统计数据的重要性越强。

affine：当设为true时，给定可以学习的系数矩阵γ和β。如果affine=False则γ=1,β=0 ，并且不能学习被更新。一般都会设置成affine=True。

nn.Conv2d

对由多个输入平面组成的输入信号进行二维卷积。输入信号的形式为(N,C_{in},H,W) ，

nn.ConvTranspose2d

进行反卷积操作

class BasicTransConv2d(nn.Module):
	
	def __init__(self, in_planes, out_planes, kernel_size, stride, padding = 0):
		
		super(BasicTransConv2d, self).__init__()
		self.transconv = nn.ConvTranspose2d(in_planes, out_planes,    #进行反卷积操作
											kernel_size = kernel_size, stride = stride,
											padding = padding, bias = False)
		self.bn = nn.BatchNorm2d(out_planes,
								eps=0.001, # value found in tensorflow
								momentum=0.1, # default pytorch value
								affine=True)
		self.relu = nn.ReLU(inplace = True)
		
	def forward(self, x):
		
		x = self.relu(self.bn(self.transconv(x)))
		return x

nn.Conv2d和nn.ConvTranspose2d详细描述参考：https://blog.csdn.net/demo_jie/article/details/107311774