019、卷积层填充和步幅

Here-We-Are

已于 2023-10-23 10:27:16 修改

阅读量357

点赞数

分类专栏： torch 文章标签：深度学习人工智能

于 2023-10-23 10:23:18 首次发布

本文链接：https://blog.csdn.net/weixin_55706338/article/details/133978358

版权

torch 专栏收录该内容

51 篇文章 0 订阅

订阅专栏

之——调整控制卷积层输出大小

杂谈

除了之前提到的卷积核大小，还有什么因素会影响输出的大小呢？下面将介绍填充和步幅。

假设以下情景：有时，在应用了连续的卷积之后，我们最终得到的输出远小于输入大小。这是由于卷积核的宽度和高度通常大于1所导致的。比如，一个240×240像素的图像，经过10层5×5的卷积后，将减少到200×200像素。如此一来，原始图像的边界丢失了许多有用信息。而填充是解决此问题最有效的方法； 有时，我们可能希望大幅降低图像的宽度和高度。例如，如果我们发现原始的输入分辨率十分冗余。步幅则可以在这类情况下提供帮助。

卷积神经网络（Convolutional Neural Network，CNN）中的填充（Padding）和步幅（Stride）是两个重要的概念，它们用于控制卷积层的输出大小和感受野。

正文

1.填充（Padding）：

为什么使用填充？

卷积核在有限空间的图像上会逐层减少输出元素大小。

填充是指在输入图像周围添加额外的像素值（通常是0）以扩展输入的尺寸。这些额外的像素位于输入图像的边界，可以是单层或多层像素。
填充有两种主要类型：有效（Valid）填充和相同（Same）填充。
- 有效填充：不进行填充，输出尺寸会比输入尺寸小。这意味着卷积核只与输入中完全包含它的区域进行卷积操作。VALID不进行填充，当滑动卷积核之后，若多出一列，“Vaild”发现余下的窗口不到卷积核大小，会就把剩下的一列直接去了（图片卷积后还是会变小）。
- 相同填充：在输入周围添加填充，使输出尺寸与输入尺寸相同。这有助于保持输入特征图的尺寸，通常在需要精确位置信息时使用。SAME进行填充，当滑动卷积核之后，若多出一列，“Same”发现余下的窗口不到卷积核大小并不会把多出的一列丢弃，但是只有一列了不够卷积核大小怎么办？填充！会在原图像外围添加一圈或者多圈全“0”(图片卷积后可能不会变小）。
填充可以帮助控制输出的尺寸，以便与后续层的输入兼容。它还有助于防止信息丢失在卷积操作中的边界像素上。
相同填充可以保持特征图的尺寸，这在堆叠多个卷积层时非常有用，因为它允许网络更好地学习不同尺寸的特征。

实际作用效果：

常用的填充经验：

代码实现，上下左右都填充一条：

import torch
from torch import nn

# 为了方便起见，我们定义了一个计算卷积层的函数。
# 此函数初始化卷积层权重，并对输入和输出提高和缩减相应的维数
def comp_conv2d(conv2d, X):
    # 这里的（1，1）表示批量大小和通道数都是1
    X = X.reshape((1, 1) + X.shape)
    Y = conv2d(X)
    # 省略前两个维度：批量大小和通道
    return Y.reshape(Y.shape[2:])

# 请注意，这里每边都填充了1行或1列，因此总共添加了2行或2列
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1)
X = torch.rand(size=(8, 8))
comp_conv2d(conv2d, X).shape
#torch.Size([8, 8])

更灵活地填充（由于k是5*3，就要填充4*2，于是上下左右填充2*1）：

conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2, 1))
comp_conv2d(conv2d, X).shape

#torch.Size([8, 8])

2.步幅（Stride）：

为什么使用步幅？

步幅是卷积核在输入上滑动的步长。它决定了卷积操作的间隔，即卷积核从一个位置移动到下一个位置的距离。
步幅通常设置为1，这意味着卷积核在每次移动时只移动一个像素。较大的步幅值将导致输出特征图的尺寸减小。
步幅可以用于减小输出特征图的尺寸。这对于减少计算量和参数数量非常有用，因为较小的特征图需要更少的计算。
步幅还可以用于改变特征图的感受野大小。较大的步幅会导致感受野减小，而较小的步幅会导致感受野增加，这可以影响网络对不同特征的感知能力。

实际使用：

代码实现：

conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
comp_conv2d(conv2d, X).shape
#torch.Size([4, 4])

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
comp_conv2d(conv2d, X).shape
#torch.Size([2, 2])