【YOLO改进】换遍MMDET主干网络之Pyramid Vision Transformer（PVT）（基于MMYOLO）

最新推荐文章于 2024-06-07 19:36:38 发布

五山一胖

最新推荐文章于 2024-06-07 19:36:38 发布

阅读量687

点赞数 12

分类专栏： YOLO改进文章标签： YOLO transformer 深度学习

本文链接：https://blog.csdn.net/vlone_pp/article/details/138502368

版权

YOLO改进专栏收录该内容

38 篇文章 7 订阅

订阅专栏

Pyramid Vision Transformer（PVT）

Pyramid Vision Transformer（PVT）是一种深度学习模型，它结合了Transformer架构和金字塔结构，旨在将Transformer的强大能力引入计算机视觉任务中，特别是那些需要密集预测的任务，如目标检测、语义分割等。

PVT的主要特点在于其金字塔结构的设计。与原始的Vision Transformer（ViT）相比，PVT在多个阶段使用了不同尺度的特征图，从而形成了金字塔结构。这种设计使得PVT能够捕获不同尺度的特征信息，提高了模型对图像中不同大小目标的处理能力。

在每个阶段，PVT首先对输入图像或特征进行token化（即patch embedding），然后应用Transformer的编码器结构进行特征提取。与ViT不同的是，PVT在每个阶段都使用了不同尺度的特征图，并通过下采样操作来逐步减小特征图的尺寸。这种设计使得PVT能够在保持计算复杂度的同时，提高模型的输出分辨率，从而更好地适应密集预测任务的需求。

PVT作为YOLO主干网络的可行性分析

性能优势：PVT作为一种结合了Transformer和金字塔结构的模型，具有强大的特征提取能力和多尺度特征处理能力。这使得PVT作为YOLO的主干网络时，能够提供更丰富的特征信息，有助于提高目标检测的精度和效率。特别是对于那些需要处理多尺度目标的任务，PVT的优势更加明显。
兼容性：YOLO是一种基于卷积神经网络的目标检测算法，而PVT虽然主要基于Transformer架构，但其金字塔结构的设计使得它仍然可以与YOLO的检测头进行有效地融合。通过合理的网络结构和参数设置，可以将PVT作为YOLO的主干网络来使用，并形成完整的目标检测模型。
优化与改进：虽然PVT已经具有很好的性能表现，但在实际应用中还可以根据具体任务需求进行进一步的优化和改进。例如，可以通过调整PVT的网络结构、深度、宽度等参数来平衡模型的性能和速度；也可以采用一些先进的优化技术（如剪枝、量化等）来减小模型的参数量和计算量，进一步提高模型的实时性和部署能力。

替换Pyramid Vision Transformer（PVT）(基于MMYOLO)

OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表，允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。因此用户可以在 MMYOLO 中使用来自 MMDetection、MMClassification、MMSelfsup 的主干网络，而无需重新实现。

假设想将'Pyramid Vision Transformer（PVT）'作为 'yolov5' 的主干网络，则配置文件如下：

_base_ = './yolov5_s-v61_syncbn_8xb16-300e_coco.py'

deepen_factor = _base_.deepen_factor
widen_factor = 1.0
channels = [128, 320, 512]
checkpoint_file = 'https://github.com/whai362/PVT/releases/download/v2/pvt_tiny.pth'  #

model = dict(
    backbone=dict(
        _delete_=True, # 将 _base_ 中关于 backbone 的字段删除
        type='mmdet.PyramidVisionTransformer', # 使用 mmdet 中的 PyramidVisionTransformer
        num_layers=[2, 2, 2, 2],
        out_indices =(1, 2, 3), #设置PyramidVisionTransformer输出的stage，这里设置为1,2,3，默认为(0,1,2,3)
        init_cfg=dict(type='Pretrained', checkpoint=checkpoint_file)),
    neck=dict(
        type='YOLOv5PAFPN',
        deepen_factor=deepen_factor,
        widen_factor=widen_factor,
        in_channels=channels, # 注意：PyramidVisionTransformer 输出的3个通道是 [ 128, 320, 512]，和原先的 yolov5-s neck 不匹配，需要更改
        out_channels=channels),
    bbox_head=dict(
        type='YOLOv5Head',
        head_module=dict(
            type='YOLOv5HeadModule',
            in_channels=channels, # head 部分输入通道也要做相应更改
            widen_factor=widen_factor))
)