1. Bottleneck介绍
Bottleneck 层是在深度残差网络(ResNet)中引入的一种重要组件,用于降低模型的计算复杂度并提升特征提取能力。
1.1 背景和动机
深度残差网络(ResNet)是一种解决深层神经网络训练困难的方法。由于在深层网络中,梯度消失和梯度爆炸等问题可能会导致难以训练的模型。ResNet 提出了跳跃连接(shortcut connection)和残差学习的概念,允许信息在网络中的不同层之间直接传递,从而帮助解决了训练问题。
1.2 Bottleneck 层结构
Bottleneck 层是 ResNet 中的基本组件之一,它由三个主要部分组成:
1x1 卷积层:用于降低输入的通道数(维度),以减少计算复杂度。这一步主要是为了在保持特征质量的同时减少维度。
3x3 卷积层:经过 1x1 卷积层降维后&#