动手学深度学习20 卷积层里的填充和步幅

动手学深度学习20 卷积层里的填充和步幅

课本: https://zh-v2.d2l.ai/chapter_convolutional-neural-networks/padding-and-strides.html

1. 填充和步幅

在这里插入图片描述

卷积网络可调的超参数。
当输入shape一定,卷积核shape一定,想要做更深层的网络怎么处理数据shape不够大的问题,填充。输出可能比输入还要大。
在这里插入图片描述
在这里插入图片描述
层数越多,计算越复杂,卷积核大小不变,输入输出shape大小是线性相关,加上步幅,成指数相关。shape大小下降比较快。
在这里插入图片描述

在这里插入图片描述
步幅通常取2。一般取填充合适,高和宽都是2的倍数,且步幅取2,每层网络都是把输入输出的高和宽全部做除2的操作。
填充:当不想模型模型改变输入的大小,或者想要训练深层网络时使用。
步幅:控制滑动窗口挪动行列的步长,成倍减少输入的形状。当输入shape过大,可以用步幅成倍缩小输出shape,减少计算量。
在这里插入图片描述

2. 代码实现

超参数:padding stride
当输入数据不是方块,可以通过超参数控制调整输出数据的shape。

# 当不考虑输入输出通道 批量大小数 输入就是一个矩阵
# padding=1 上下左右各填充一行 每一边填充的多少行
import torch
from torch import nn

# 为了方便起见,我们定义了一个计算卷积层的函数。
# 此函数初始化卷积层权重,并对输入和输出提高和缩减相应的维数
def comp_conv2d(conv2d, X):
  # 这里的(1,1)表示批量大小和通道数都是1
  # 元组连接运算符 (1, 1)+(1,1)=(1,1,1,1)
  X = X.reshape((1, 1)+ X.shape)
  Y = conv2d(X)
  # 省略前两个维度:批量大小和通道
  return Y.reshape(Y.shape[2:])

# 请注意,这里每边都填充了1行或1列,因此总共添加了2行或2列
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1)
X = torch.rand(size=(8, 8))
print(comp_conv2d(conv2d, X).shape)

# 当卷积核的高度和宽度不同时,我们可以填充不同的高度和宽度,使输出和输入具有相同的高度和宽度
conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2,1))
print(comp_conv2d(conv2d, X).shape)

# 高度和宽度的步幅设置为2,从而将输入的高度和宽度减半
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
print(comp_conv2d(conv2d, X).shape)

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
print(comp_conv2d(conv2d, X).shape)
# 认情况下,填充为0,步幅为1。在实践中,我们很少使用不一致的步幅或填充.
torch.Size([8, 8])
torch.Size([8, 8])
torch.Size([4, 4])
torch.Size([2, 2])

3. QA

  1. 是55层。每层减去4,(224-4)/4=55

  2. 一般填充会让输入输出高宽一样,通常设置为kernel-1, 为了让每层输入输出大小一样,这样输入输出关系计算方便。
    步幅一般取1,当觉得计算量太大,不想选用很多层,步幅就不取1,通常步幅取2,每次减半,计算能有多少次减半,把步幅均匀的插在卷积网络中。
    核大小通常是关键的。填充一般取默认的。步幅取决于你要把模型复杂度控制在什么程度。

  3. 卷积核边长一般选奇数,是为了对称,上下填充是对称的情况。一般卷积核用3*3,效果都差不多。

  4. 当224*224维度,五六次减半数据维度都没有了,没有办法做很深的网络,减半是很少的情况,多数情况输入输出shape是不变的。

  5. 步幅 填充 kernel 通道数 是神经网络架构的一部分,是网络怎么设计的一部分,不那么敏感,很少调整。当你用定义好的网络架构的时候,这些参数就已经被设定好了。
    在这里插入图片描述

  6. 实际上,多用经典网络结构。RestNet。当输入数据是个非常不一样的,经典的结构无法处理,可以自己设计。网络结构没有那么关键,只是一部分。数据是怎么预处理的,细节是怎么处理的也占很大部分。

  7. 分别应用可以用元组padding=(1,1) 行列表示。

  8. padding=1=(1,1), 左右各填充一行,跟slide一共填充多少行多少列不一样。

  9. 张量的形状一般都是整数,都有向上或向下取整。不会有小数的情况。

  10. 3*3视野小,但深网络视野就大了。
    在这里插入图片描述
    在这里插入图片描述

  11. nas-让超参数也参与训练,自动机器学习的一部分。或者根据硬件情况搜索一个比较好的参数。

  12. 信息一定会是丢失的。机器学习本质上是一个极端压缩算法。把原始计算机能理解的像素信息,文字的字符串信息等压缩到人能理解的语义空间。

  13. 有自动调参功能,不建议用,比较贵。

  14. autoguluon也有做nas, 比较贵。

  15. 验证集设置的很好,过拟合会很好的避免,自动调参会带来一定的过拟合,但可以控制。
    在这里插入图片描述

  16. 三层的33是否可以用2层55替代呢。效果上是可以替代的,但是3*3计算速度是更快的。计算复杂度,kernel计算是平方项,复杂度高,高宽的限制是线性的关系。

  17. 主流底层可以用大一点的kernel, 后面的用33多, 33便宜一点,构造方便一点。简单的网络容易通用。可以试。

  18. 一个特定的卷积层可以看特定的纹理,不同卷积层看不同的纹理。

  19. 更多的数据–数据贵;gpu计算替代了人力、数据的成本。用机器代替人力。
    在这里插入图片描述

4. 练习

  1. 对于本节中的最后一个示例,计算其输出形状,以查看它是否与实验结果一致。

  2. 在本节中的实验中,试一试其他填充和步幅组合。

  3. 对于音频信号,步幅=2说明什么?
    在这里插入图片描述

  4. 步幅大于1的计算优势是什么?
    可以快速的降低输出的维数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值