Bottleneck层总结

1. Bottleneck介绍
        Bottleneck 层是在深度残差网络（ResNet）中引入的一种重要组件，用于降低模型的计算复杂度并提升特征提取能力。 

1.1 背景和动机
        深度残差网络（ResNet）是一种解决深层神经网络训练困难的方法。由于在深层网络中，梯度消失和梯度爆炸等问题可能会导致难以训练的模型。ResNet 提出了跳跃连接（shortcut connection）和残差学习的概念，允许信息在网络中的不同层之间直接传递，从而帮助解决了训练问题。

1.2 Bottleneck 层结构
        Bottleneck 层是 ResNet 中的基本组件之一，它由三个主要部分组成：

        1x1 卷积层：用于降低输入的通道数（维度），以减少计算复杂度。这一步主要是为了在保持特征质量的同时减少维度。

        3x3 卷积层：经过 1x1 卷积层降维后，使用 3x3 卷积核进行特征提取。这一步负责增强特征表示能力。

        1x1 卷积层：通过 1x1 卷积层将通道数恢复到原始维度。这一步是为了恢复特征的维度，并提供给下一层使用。

        上图右侧图所示结构即为Bottleneck结构。

1.3 Bottleneck 层的作用
        降低计算复杂度：通过使用 1x1 卷积层降低输入的通道数，减少了后续 3x3 卷积层的计算量。这对于深层网络的训练和推理过程都具有重要意义。

        在上图结构中使用1x1卷积核将256维通道降到64维，然后再64维基础上进行3x3卷积，最后在使用1x1卷积将64维通道升到256维。参数计算量为：1x1x64x256 + 3x3x64x64 + 1x1x64x256 = 69632，而不使用Bottleneck的参数计算量为3x3x256x256= 589824，参数相差了8.47倍。

        提升特征提取能力：3x3 卷积层用于在减少维度后进行特征提取，增加了网络对输入特征的表达能力。这样可以在保持较少计算复杂度的同时，提高模型的性能和表示能力。

        Bottleneck 层在 ResNet 中的应用使得深层网络的训练更加容易和高效，并且在图像分类、目标检测、语义分割等计算机视觉任务中取得了显著的成果。这个概念也被广泛应用于其他网络架构的设计中，以提高模型的效率和性能。

2. 不同网络中的Bottleneck结构参数
2.1 ResNet网络中Bottleneck结构
        下图结构是在ResNet网络中的结构。先通过1x1进行降维，使用3x3进行卷积操作，最后使用1x1升维。

2.2 YOLOV5网络中的Bottleneck结构
        下图为YOLO V5中的结构，与ResNet网络中的Bottleneck结构相比，最大不同是只有2层卷积，最后一层不再使用1x1卷积升维，而是直接输出。

        该结构的第一个卷积核为1x1进行降维，然后3x3进行卷积计算后直接输出，在该过程直接设置最终需要的输出Channel数，不再经过1x1卷积进行升维操作。

   YOLOV5 Bottleneck Pytorch实现

        YOLOV5 Bottleneck TensorRT部署

2.3 YOLOV8网络中Bottleneck结构 
        YOLOV8中的Bottleneck结构和YOLOV5的一致，但是需要注意的是第一个瓶颈操作YOLOV8中使用的卷积核大小是3x3，而不是YOLOV5中使用的1x1,YOLOV8是通过使channel减半，来实现降低参数的目的。

        yoloV8 Bottleneck  pytorch实现

        YOLOV8 Bottleneck TensorRT部署

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/yueguang8/article/details/136463262