卷积神经网络基础

卷积神经网络基础

卷积神经网络（convolutional neural network）是含有卷积层（convolutional layer）的神经网络。

1. 填充和步幅：

1.1 填充

填充（padding）是指在输入高和宽的两侧填充元素（通常是0元素）。图5.2里我们在原输入高和宽的两侧分别添加了值为0的元素，使得输入高和宽从3变成了5，并导致输出高和宽由2增加到4。图5.2中的阴影部分为第一个输出元素及其计算所使用的输入和核数组元素：0×0+0×1+0×2+0×3=0。

1.2 步幅

卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。我们将每次滑动的行数和列数称为步幅（stride）。

2. 多输入通道和多输出通道：

2.1 多输入通道

当输入数据含多个通道时，我们需要构造一个与输入数据的通道数相同的卷积核，从而能够与含多通道的输入数据做互相关运算。假设输入数据的通道数为c ，则卷积核kernel的大小为c × h × w。

2.2 多输出通道

*注 n×n卷积层的意思是指卷积窗口形状为n×n

3. 池化层

3.1 二维最大池化层和平均池化层

同卷积层一样，池化层每次对输入数据的一个固定形状窗口（又称池化窗口）中的元素计算输出。池化层直接计算池化窗口内元素的最大值或者平均值。

3.2 填充和步幅

同卷积层一样，池化层也可以在输入的高和宽两侧的填充并调整窗口的移动步幅来改变输出形状。

pool2d = nn.MaxPool2d((2, 4), padding=(1, 2), stride=(2, 3))
pool2d(X)

• 最大池化和平均池化分别取池化窗口中输入元素的最大值和平均值作为输出。
• 池化层的一个主要作用是缓解卷积层对位置的过度敏感性。
• 可以指定池化层的填充和步幅。
• 池化层的输出通道数跟输入通道数相同。

4. 对卷积层做批量归一化

对卷积层来说，批量归一化发生在卷积计算之后、应用激活函数之前。如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数，并均为标量。设小批量中有m个样本。在单个通道上，假设卷积计算输出的高和宽分别为p和q。我们需要对该通道中m×p×q个元素同时做批量归一化。对这些元素做标准化计算时，我们使用相同的均值和方差，即该通道中m×p×q个元素的均值和方差。