课本: https://zh-v2.d2l.ai/chapter_convolutional-neural-networks/padding-and-strides.html
1. 填充和步幅
卷积网络可调的超参数。
当输入shape一定,卷积核shape一定,想要做更深层的网络怎么处理数据shape不够大的问题,填充。输出可能比输入还要大。
层数越多,计算越复杂,卷积核大小不变,输入输出shape大小是线性相关,加上步幅,成指数相关。shape大小下降比较快。
步幅通常取2。一般取填充合适,高和宽都是2的倍数,且步幅取2,每层网络都是把输入输出的高和宽全部做除2的操作。
填充:当不想模型模型改变输入的大小,或者想要训练深层网络时使用。
步幅:控制滑动窗口挪动行列的步长,成倍减少输入的形状。当输入shape过大,可以用步幅成倍缩小输出shape,减少计算量。
2. 代码实现
超参数:padding stride
当输入数据不是方块,可以通过超参数控制调整输出数据的shape。
# 当不考虑输入输出通道 批量大小数 输入就是一个矩阵
# padding=1 上下左右各填充一行 每一边填充的多少行
import torch
from torch import nn
# 为了方便起见,我们定义了一个计算卷积层的函数。
# 此函数初始化卷积层权重,并对输入和输出提高和缩减相应的维数
def comp_conv2d(conv2d, X):
# 这里的(1,1)表示批量大小和通道数都是1
# 元组连接运算符 (1, 1)+(1,1)=(1,1,1,1)
X = X.reshape((1, 1)+ X.shape)
Y = conv2d(X)
# 省略前两个维度:批量大小和通道
return Y.reshape(Y.shape[2:])
# 请注意,这里每边都填充了1行或1列,因此总共添加了2行或2列
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1)
X = torch.rand(size=(8, 8))
print(comp_conv2d(conv2d, X).shape)
# 当卷积核的高度和宽度不同时,我们可以填充不同的高度和宽度,使输出和输入具有相同的高度和宽度
conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2,1))
print(comp_conv2d(conv2d, X).shape)
# 高度和宽度的步幅设置为2,从而将输入的高度和宽度减半
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
print(comp_conv2d(conv2d, X).shape)
conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
print(comp_conv2d(conv2d, X).shape)
# 认情况下,填充为0,步幅为1。在实践中,我们很少使用不一致的步幅或填充.
torch.Size([8, 8])
torch.Size([8, 8])
torch.Size([4, 4])
torch.Size([2, 2])
3. QA
-
是55层。每层减去4,(224-4)/4=55
-
一般填充会让输入输出高宽一样,通常设置为kernel-1, 为了让每层输入输出大小一样,这样输入输出关系计算方便。
步幅一般取1,当觉得计算量太大,不想选用很多层,步幅就不取1,通常步幅取2,每次减半,计算能有多少次减半,把步幅均匀的插在卷积网络中。
核大小通常是关键的。填充一般取默认的。步幅取决于你要把模型复杂度控制在什么程度。 -
卷积核边长一般选奇数,是为了对称,上下填充是对称的情况。一般卷积核用3*3,效果都差不多。
-
当224*224维度,五六次减半数据维度都没有了,没有办法做很深的网络,减半是很少的情况,多数情况输入输出shape是不变的。
-
步幅 填充 kernel 通道数 是神经网络架构的一部分,是网络怎么设计的一部分,不那么敏感,很少调整。当你用定义好的网络架构的时候,这些参数就已经被设定好了。
-
实际上,多用经典网络结构。RestNet。当输入数据是个非常不一样的,经典的结构无法处理,可以自己设计。网络结构没有那么关键,只是一部分。数据是怎么预处理的,细节是怎么处理的也占很大部分。
-
分别应用可以用元组padding=(1,1) 行列表示。
-
padding=1=(1,1), 左右各填充一行,跟slide一共填充多少行多少列不一样。
-
张量的形状一般都是整数,都有向上或向下取整。不会有小数的情况。
-
3*3视野小,但深网络视野就大了。
-
nas-让超参数也参与训练,自动机器学习的一部分。或者根据硬件情况搜索一个比较好的参数。
-
信息一定会是丢失的。机器学习本质上是一个极端压缩算法。把原始计算机能理解的像素信息,文字的字符串信息等压缩到人能理解的语义空间。
-
有自动调参功能,不建议用,比较贵。
-
autoguluon也有做nas, 比较贵。
-
验证集设置的很好,过拟合会很好的避免,自动调参会带来一定的过拟合,但可以控制。
-
三层的33是否可以用2层55替代呢。效果上是可以替代的,但是3*3计算速度是更快的。计算复杂度,kernel计算是平方项,复杂度高,高宽的限制是线性的关系。
-
主流底层可以用大一点的kernel, 后面的用33多, 33便宜一点,构造方便一点。简单的网络容易通用。可以试。
-
一个特定的卷积层可以看特定的纹理,不同卷积层看不同的纹理。
-
更多的数据–数据贵;gpu计算替代了人力、数据的成本。用机器代替人力。
4. 练习
-
对于本节中的最后一个示例,计算其输出形状,以查看它是否与实验结果一致。
-
在本节中的实验中,试一试其他填充和步幅组合。
-
对于音频信号,步幅=2说明什么?
-
步幅大于1的计算优势是什么?
可以快速的降低输出的维数