RTDETR(CVPR2024)改进系列指南

已于 2024-06-08 17:50:53 修改
阅读量1.1w 收藏 170
点赞数 34
文章标签： 人工智能 pytorch 深度学习 python
于 2024-02-17 18:01:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37706472/article/details/136140534
版权

基于Ultralytics的RT-DETR改进项目.(89.9¥)

为了感谢各位对RTDETR项目的支持,本项目的赠品是yolov5-PAGCP通道剪枝算法.具体使用教程

自带的一些文件说明

  1. train.py
    训练模型的脚本
  2. main_profile.py
    输出模型和模型每一层的参数,计算量的脚本(rtdetr-l和rtdetr-x因为thop库的问题,没办法正常输出每一层的参数和计算量和时间)
  3. val.py
    使用训练好的模型计算指标的脚本
  4. detect.py
    推理的脚本
  5. track.py
    跟踪推理的脚本
  6. heatmap.py
    生成热力图的脚本
  7. get_FPS.py
    计算模型储存大小、模型推理时间、FPS的脚本
  8. get_COCO_metrice.py
    计算COCO指标的脚本
  9. plot_result.py
    绘制曲线对比图的脚本
  10. get_model_erf.py
    绘制模型的有效感受野.视频链接

RT-DETR基准模型

  1. ultralytics/cfg/models/rt-detr/rtdetr-r18.yaml(有预训练权重COCO+Objects365,来自RTDETR-Pytorch版本的移植)

    rtdetr-r18 summary: 421 layers, 20184464 parameters, 20184464 gradients, 58.6 GFLOPs

  2. ultralytics/cfg/models/rt-detr/rtdetr-r34.yaml(有预训练权重COCO,来自RTDETR-Pytorch版本的移植)

    rtdetr-r34 summary: 525 layers, 31441668 parameters, 31441668 gradients, 90.6 GFLOPs

  3. ultralytics/cfg/models/rt-detr/rtdetr-r50-m.yaml(有预训练权重COCO,来自RTDETR-Pytorch版本的移植)

    rtdetr-r50-m summary: 637 layers, 36647020 parameters, 36647020 gradients, 98.3 GFLOPs

  4. ultralytics/cfg/models/rt-detr/rtdetr-r50.yaml(有预训练权重COCO+Objects365,来自RTDETR-Pytorch版本的移植)

    rtdetr-r50 summary: 629 layers, 42944620 parameters, 42944620 gradients, 134.8 GFLOPs

  5. ultralytics/cfg/models/rt-detr/rtdetr-r101.yaml

    rtdetr-r101 summary: 867 layers, 76661740 parameters, 76661740 gradients, 257.7 GFLOPs

  6. ultralytics/cfg/models/rt-detr/rtdetr-l.yaml(有预训练权重)

    rtdetr-l summary: 673 layers, 32970732 parameters, 32970732 gradients, 108.3 GFLOPs

  7. ultralytics/cfg/models/rt-detr/rtdetr-x.yaml(有预训练权重)

    rtdetr-x summary: 867 layers, 67468108 parameters, 67468108 gradients, 232.7 GFLOPs

专栏改进汇总

二次创新系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-DCNV2-Dynamic.yaml

    使用自研可变形卷积DCNV2-Dynamic改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-MPCA与DCNV2_Dynamic的说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-iRMB-Cascaded.yaml

    使用EfficientViT CVPR2023中的CascadedGroupAttention对EMO ICCV2023中的iRMB进行二次创新来改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-20231119更新说明)

  3. ultralytics/cfg/models/rt-detr/rtdetr-PConv-Rep.yaml

    使用RepVGG CVPR2021中的RepConv对FasterNet CVPR2023中的PConv进行二次创新后改进resnet18-backbone中的BasicBlock.

  4. ultralytics/cfg/models/rt-detr/rtdetr-Faster-Rep.yaml

    使用RepVGG CVPR2021中的RepConv对FasterNet CVPR2023中的Faster-Block进行二次创新后改进resnet18-backbone中的BasicBlock.

  5. ultralytics/cfg/models/rt-detr/rtdetr-Faster-EMA.yaml

    使用EMA ICASSP2023对FasterNet CVPR2023中的Faster-Block进行二次创新后改进resnet18-backbone中的BasicBlock.

  6. ultralytics/cfg/models/rt-detr/rtdetr-Faster-Rep-EMA.yaml

    使用RepVGG CVPR2021中的RepConv和EMA ICASSP2023对FasterNet CVPR2023中的Faster-Block进行二次创新后改进resnet18-backbone中的BasicBlock.

  7. ultralytics/cfg/models/rt-detr/rtdetr-DWRC3-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)进行二次创新改进rtdetr.

  8. ultralytics/cfg/models/rt-detr/rtdetr-ASF-P2.yaml

    在ultralytics/cfg/models/rt-detr/rtdetr-ASF.yaml的基础上进行二次创新，引入P2检测层并对网络结构进行优化.

  9. ultralytics/cfg/models/rt-detr/rtdetr-slimneck-ASF.yaml

    使用SlimNeck中的VoVGSCSP\VoVGSCSPC和GSConv和ASF-YOLO中的Attentional Scale Sequence Fusion改进rtdetr中的CCFM.

  10. ultralytics/cfg/models/rt-detr/rtdetr-goldyolo-asf.yaml

    利用华为2023最新GOLD-YOLO中的Gatherand-Distribute和ASF-YOLO中的Attentional Scale Sequence Fusion进行改进特征融合模块.

  11. ultralytics/cfg/models/rt-detr/rtdetr-HSPAN.yaml

    对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进RTDETR中的CCFM.

  12. ultralytics/cfg/models/rt-detr/rtdetr-ASF-Dynamic.yaml

    使用ICCV2023 DySample改进ASF-YOLO中的Attentional Scale Sequence Fusion的上采样模块得到Dynamic Sample Attentional Scale Sequence Fusion改进CCFM.

  13. ultralytics/cfg/models/rt-detr/rtdetr-iRMB-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进resnet18-backbone中的BasicBlock.

  14. ultralytics/cfg/models/rt-detr/rtdetr-iRMB-SWC.yaml

    使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进resnet18-backbone中的BasicBlock.

  15. ultralytics/cfg/models/rt-detr/rtdetr-DBBNCSPELAN.yaml

    在rtdetr-RepNCSPELAN.yaml使用Diverse Branch Block CVPR2021进行二次创新.(详细介绍请看百度云视频-20240225更新说明)

  16. ultralytics/cfg/models/rt-detr/rtdetr-OREPANCSPELAN.yaml

    在rtdetr-RepNCSPELAN.yaml使用Online Convolutional Re-parameterization (CVPR2022)进行二次创新.(详细介绍请看百度云视频-20240225更新说明)

  17. ultralytics/cfg/models/rt-detr/rtdetr-DRBNCSPELAN.yaml

    在rtdetr-RepNCSPELAN.yaml使用UniRepLKNet中的DilatedReparamBlock进行二次创新.(详细介绍请看百度云视频-20240225更新说明)

  18. ultralytics/cfg/models/rt-detr/rtdetr-Conv3XCNCSPELAN.yaml

    在rtdetr-RepNCSPELAN.yaml使用Swift Parameter-free Attention Network中的Conv3XC进行二次创新.(详细介绍请看百度云视频-20240225更新说明)

  19. ultralytics/cfg/models/rt-detr/rtdetr-ELA-HSFPN.yaml

    使用Efficient Local Attention改进HSFPN.

  20. ultralytics/cfg/models/rt-detr/rtdetr-CA-HSFPN.yaml

    使用Coordinate Attention CVPR2021改进HSFPN.

  21. ultralytics/cfg/models/rt-detr/rtdetr-RepNCSPELAN-CAA.yaml

    使用CVPR2024 PKINet中的CAA模块改进RepNCSPELAN.

  22. ultralytics/cfg/models/rt-detr/rtdetr-CAA-HSFPN.yaml

    使用CVPR2024 PKINet中的CAA模块HSFPN.

  23. ultralytics/cfg/models/rt-detr/rtdetr-CAFMFusion.yaml

    利用具有HCANet中的CAFM，其具有获取全局和局部信息的注意力机制进行二次改进content-guided attention fusion.

  24. ultralytics/cfg/models/rt-detr/rtdetr-faster-CGLU.yaml

    使用TransNeXt CVPR2024中的Convolutional GLU对CVPR2023中的FasterNet进行二次创新.

自研系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-PACAPN.yaml

    自研结构, Parallel Atrous Convolution Attention Pyramid Network, PAC-APN

    1. 并行(上/下)采样分支可为网络提供多条特征提取途径，丰富特征表达的多样性、再结合gate机制对采样后的特征进行特征选择，强化更有意义的特征，抑制冗余或不相关的特征，提升特征表达的有效性。
    2. PAC模块通过使用具有不同膨胀率的并行空洞卷积，能够有效地提取不同尺度的特征。这使得网络能够捕捉数据中局部和上下文信息，提高其表示复杂模式的能力。

  2. ultralytics/cfg/models/rt-detr/rtdetr-FDPN.yaml

    自研特征聚焦扩散金字塔网络(Focusing Diffusion Pyramid Network)

    1. 通过定制的特征聚焦模块与特征扩散机制，能让每个尺度的特征都具有详细的上下文信息，更有利于后续目标的检测与分类。
    2. 定制的特征聚焦模块可以接受三个尺度的输入，其内部包含一个Inception-Style的模块，其利用一组并行深度卷积来捕获丰富的跨多个尺度的信息。
    3. 通过扩散机制使具有丰富的上下文信息的特征进行扩散到各个检测尺度.

  3. ultralytics/cfg/models/rt-detr/rtdetr-FDPN-DASI.yaml

    使用HCFNet中的Dimension-Aware Selective Integration Module对自研的Focusing Diffusion Pyramid Network再次创新.

  4. ultralytics/cfg/models/rt-detr/rtdetr-RGCSPELAN.yaml

    自研RepGhostCSPELAN.

    1. 参考GhostNet中的思想(主流CNN计算的中间特征映射存在广泛的冗余)，采用廉价的操作生成一部分冗余特征图，以此来降低计算量和参数量。
    2. 舍弃yolov5与yolov8中常用的BottleNeck，为了弥补舍弃残差块所带来的性能损失，在梯度流通分支上使用RepConv，以此来增强特征提取和梯度流通的能力，并且RepConv可以在推理的时候进行融合，一举两得。
    3. 可以通过缩放因子控制RGCSPELAN的大小，使其可以兼顾小模型和大模型。

  5. ultralytics/cfg/models/rt-detr/rtdetr-ContextGuideFPN.yaml

    Context Guide Fusion Module（CGFM）是一个创新的特征融合模块，旨在改进YOLOv8中的特征金字塔网络（FPN）。该模块的设计考虑了多尺度特征融合过程中上下文信息的引导和自适应调整。

    1. 上下文信息的有效融合：通过SE注意力机制，模块能够在特征融合过程中捕捉并利用重要的上下文信息，从而增强特征表示的有效性，并有效引导模型学习检测目标的信息，从而提高模型的检测精度。
    2. 特征增强：通过权重化的特征重组操作，模块能够增强重要特征，同时抑制不重要特征，提升特征图的判别能力。
    3. 简单高效：模块结构相对简单，不会引入过多的计算开销，适合在实时目标检测任务中应用。
      这期视频讲解在B站:https://www.bilibili.com/video/BV1Vx4y1n7hZ/

  6. ultralytics/cfg/models/rt-detr/rtdetr-C2f-SMPCGLU.yaml

    Self-moving Point Convolutional GLU模型改进C2f.
    SMP来源于CVPR2023-SMPConv,Convolutional GLU来源于TransNeXt CVPR2024.

    1. 普通的卷积在面对数据中的多样性和复杂性时，可能无法捕捉到有效的特征，因此我们采用了SMPConv，其具备最新的自适应点移动机制，从而更好地捕捉局部特征，提高特征提取的灵活性和准确性。
    2. 在SMPConv后添加CGLU，Convolutional GLU 结合了卷积和门控机制，能够选择性地通过信息通道，提高了特征提取的有效性和灵活性。

BackBone系列

  1. ultralytics/cfg/models/rt-detr/rt-detr-timm.yaml

    使用timm库系列的主干替换rtdetr的backbone.(基本支持现有CNN模型)

  2. ultralytics/cfg/models/rt-detr/rt-detr-fasternet.yaml

    使用FasterNet CVPR2023替换rtdetr的backbone.

  3. ultralytics/cfg/models/rt-detr/rt-detr-EfficientViT.yaml

    使用EfficientViT CVPR2023替换rtdetr的backbone.

  4. ultralytics/cfg/models/rt-detr/rtdetr-convnextv2.yaml

    使用ConvNextV2 2023替换rtdetr的backbone.

  5. ultralytics/cfg/models/rt-detr/rtdetr-EfficientFormerv2.yaml

    使用EfficientFormerv2 2022替换rtdetr的backbone.

  6. ultralytics/cfg/models/rt-detr/rtdetr-repvit.yaml

    使用RepViT ICCV2023替换rtdetr的backbone.

  7. ultralytics/cfg/models/rt-detr/rtdetr-CSwomTramsformer.yaml

    使用CSwinTramsformer CVPR2022替换rtdetr的backbone.

  8. ultralytics/cfg/models/rt-detr/rtdetr-VanillaNet.yaml

    使用VanillaNet 2023替换rtdetr的backbone.

  9. ultralytics/cfg/models/rt-detr/rtdetr-SwinTransformer.yaml

    使用SwinTransformer ICCV2021替换rtdetr的backbone.

  10. ultralytics/cfg/models/rt-detr/rtdetr-lsknet.yaml

    使用LSKNet ICCV2023替换rtdetr的backbone.

  11. ultralytics/cfg/models/rt-detr/rt-detr-unireplknet.yaml

    使用UniRepLKNet替换rtdetr的backbone.

  12. ultralytics/cfg/models/rt-detr/rtdetr-TransNeXt.yaml

    使用TransNeXt改进rtdetr的backbone.

  13. ultralytics/cfg/models/rt-detr/rtdetr-RepNCSPELAN.yaml

    使用YOLOV9中的RepNCSPELAN和ADown进行改进RTDETR-R18.

  14. ultralytics/cfg/models/rt-detr/rtdetr-rmt.yaml

    使用CVPR2024 RMT改进rtdetr的主干.

  15. ultralytics/cfg/models/rt-detr/rtdetr-C2f-PKI.yaml

    使用CVPR2024 PKINet中的PKIModule和CAA模块和C2f改进backbone.

  16. ultralytics/cfg/models/rt-detr/rtdetr-C2f-PPA.yaml

    使用HCFNet中的Parallelized Patch-Aware Attention Module改进C2f.

  17. ultralytics/cfg/models/rt-detr/rtdetr-mobilenetv4.yaml

    使用MobileNetV4改进rtdetr-backbone.

  18. ultralytics/cfg/models/rt-detr/rtdetr-starnet.yaml

    使用StarNet CVPR2024改进yolov8-backbone.

AIFI系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-AIFI-LPE.yaml

    使用LearnedPositionalEncoding改进AIFI中的位置编码生成.(详细介绍请看百度云视频-20231119更新说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-CascadedGroupAttention.yaml

    使用EfficientViT CVPR2023中的CascadedGroupAttention改进rtdetr中的AIFI.(详细请看百度云视频-rtdetr-CascadedGroupAttention说明)

  3. ultralytics/cfg/models/rt-detr/rtdetr-AIFI-DAttention.yaml

    使用Vision Transformer with Deformable Attention CVPR2022中的DAttention改进AIFI.

  4. ultralytics/cfg/models/rt-detr/rtdetr-AIFI-HiLo.yaml

    使用LITv2中具有提取高低频信息的高效注意力对AIFI进行二次改进.

Neck系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-ASF.yaml

    使用ASF-YOLO中的Attentional Scale Sequence Fusion来改进rtdetr.

  2. ultralytics/cfg/models/rt-detr/rtdetr-slimneck.yaml

    使用SlimNeck中的VoVGSCSP\VoVGSCSPC和GSConv改进rtdetr中的CCFM.

  3. ultralytics/cfg/models/rt-detr/rtdetr-SDI.yaml

    使用U-NetV2中的 Semantics and Detail Infusion Module对CCFM中的feature fusion进行改进.

  4. ultralytics/cfg/models/rt-detr/rtdetr-goldyolo.yaml

    利用华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.

  5. ultralytics/cfg/models/rt-detr/rtdetr-HSFPN.yaml

    使用MFDS-DETR中的HS-FPN改进RTDETR中的CCFM.

  6. ultralytics/cfg/models/rt-detr/rtdetr-bifpn.yaml

    添加BIFPN到rtdetr-r18中.
    其中BIFPN中有三个可选参数：

    1. Fusion
      其中BIFPN中的Fusion模块支持四种: weight, adaptive, concat, bifpn(default), SDI
      其中weight, adaptive, concat出自paper链接-Figure 3, SDI出自U-NetV2
    2. node_mode
      block模块选择,具体可看对应百度云视频-20240302更新公告.
    3. head_channel
      BIFPN中的通道数,默认设置为256.

  7. ultralytics/cfg/models/rt-detr/rtdetr-CSFCN.yaml

    使用Context and Spatial Feature Calibration for Real-Time Semantic Segmentation中的Context and Spatial Feature Calibration模块改进rtdetr-neck.

  8. ultralytics/cfg/models/rt-detr/rtdetr-CGAFusion.yaml

    使用DEA-Net中的content-guided attention fusion改进rtdetr-neck.

  9. ultralytics/cfg/models/rt-detr/rtdetr-SDFM.yaml

    使用PSFusion中的superficial detail fusion module改进rtdetr-neck.

  10. ultralytics/cfg/models/rt-detr/rtdetr-PSFM.yaml

    使用PSFusion中的profound semantic fusion module改进yolov8-neck.

Head系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-p2.yaml

    添加小目标检测头P2到TransformerDecoderHead中.

RepC3改进系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-DWRC3.yaml

    使用DWRSeg中的Dilation-wise Residual(DWR)模块构建DWRC3改进rtdetr.

  2. ultralytics/cfg/models/rt-detr/rtdetr-Conv3XCC3.yaml

    使用Swift Parameter-free Attention Network中的Conv3XC改进RepC3.

  3. ultralytics/cfg/models/rt-detr/rtdetr-DRBC3.yaml

    使用UniRepLKNet中的DilatedReparamBlock改进RepC3.

  4. ultralytics/cfg/models/rt-detr/rtdetr-DBBC3.yaml

    使用DiverseBranchBlock CVPR2021改进RepC3.

  5. ultralytics/cfg/models/rt-detr/rtdetr-DGCST.yaml

    使用Lightweight Object Detection中的Dynamic Group Convolution Shuffle Transformer改进rtdetr-r18.

  6. ultralytics/cfg/models/rt-detr/rtdetr-DGCST2.yaml

    使用Lightweight Object Detection中的Dynamic Group Convolution Shuffle Transformer与Dynamic Group Convolution Shuffle Module进行结合改进rtdetr-r18.

  7. ultralytics/cfg/models/rt-detr/rtdetr-RetBlockC3.yaml

    使用CVPR2024 RMT中的RetBlock改进RepC3.

  8. ultralytics/cfg/models/rt-detr/rtdetr-KANC3.yaml

    使用Pytorch-Conv-KAN的KAN卷积算子改进RepC3.
    目前支持:

    1. FastKANConv2DLayer
    2. KANConv2DLayer
    3. KALNConv2DLayer
    4. KACNConv2DLayer
    5. KAGNConv2DLayer

ResNet主干中的BasicBlock/BottleNeck改进系列(以下改进BottleNeck基本都有,就不再重复标注)

  1. ultralytics/cfg/models/rt-detr/rtdetr-Ortho.yaml

    使用OrthoNets中的正交通道注意力改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-20231119更新说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-DCNV2.yaml

    使用可变形卷积DCNV2改进resnet18-backbone中的BasicBlock.

  3. ultralytics/cfg/models/rt-detr/rtdetr-DCNV3.yaml

    使用可变形卷积DCNV3 CVPR2023改进resnet18-backbone中的BasicBlock.(安装教程请看百度云视频-20231119更新说明)

  4. ultralytics/cfg/models/rt-detr/rtdetr-iRMB.yaml

    使用EMO ICCV2023中的iRMB改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-20231119更新说明)

  5. ultralytics/cfg/models/rt-detr/rtdetr-DySnake.yaml

    添加DySnakeConv到resnet18-backbone中的BasicBlock中.

  6. ultralytics/cfg/models/rt-detr/rtdetr-PConv.yaml

    使用FasterNet CVPR2023中的PConv改进resnet18-backbone中的BasicBlock.

  7. ultralytics/cfg/models/rt-detr/rtdetr-Faster.yaml

    使用FasterNet CVPR2023中的Faster-Block改进resnet18-backbone中的BasicBlock.

  8. ultralytics/cfg/models/rt-detr/rtdetr-AKConv.yaml

    使用AKConv 2023改进resnet18-backbone中的BasicBlock.

  9. ultralytics/cfg/models/rt-detr/rtdetr-RFAConv.yaml

    使用RFAConv 2023改进resnet18-backbone中的BasicBlock.

  10. ultralytics/cfg/models/rt-detr/rtdetr-RFCAConv.yaml

    使用RFCAConv 2023改进resnet18-backbone中的BasicBlock.

  11. ultralytics/cfg/models/rt-detr/rtdetr-RFCBAMConv.yaml

    使用RFCBAMConv 2023改进resnet18-backbone中的BasicBlock.

  12. ultralytics/cfg/models/rt-detr/rtdetr-Conv3XC.yaml

    使用Swift Parameter-free Attention Network中的Conv3XC改进resnet18-backbone中的BasicBlock.

  13. ultralytics/cfg/models/rt-detr/rtdetr-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock改进resnet18-backbone中的BasicBlock.

  14. ultralytics/cfg/models/rt-detr/rtdetr-DBB.yaml

    使用DiverseBranchBlock CVPR2021改进resnet18-backbone中的BasicBlock.

  15. ultralytics/cfg/models/rt-detr/rtdetr-DualConv.yaml

    使用DualConv改进resnet18-backbone中的BasicBlock.

  16. ultralytics/cfg/models/rt-detr/rtdetr-AggregatedAtt.yaml

    使用TransNeXt中的聚合感知注意力改进resnet18中的BasicBlock.(百度云视频-20240106更新说明)

  17. ultralytics/cfg/models/rt-detr/rtdetr-DCNV4.yaml

    使用DCNV4改进resnet18中的BasicBlock.

  18. ultralytics/cfg/models/rt-detr/rtdetr-SWC.yaml

    使用shift-wise conv改进resnet18中的BasicBlock.

  19. ultralytics/cfg/models/rt-detr/rtdetr-VSS.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS改进resnet18-backbone中的BasicBlock.

  20. ultralytics/cfg/models/rt-detr/rtdetr-ContextGuided.yaml

    使用CGNet中的Light-weight Context Guided和Light-weight Context Guided DownSample改进rtdetr-r18.

  21. ultralytics/cfg/models/rt-detr/rtdetr-fadc.yaml

    使用CVPR2024 Frequency-Adaptive Dilated Convolution改进resnet18-basicblock.

  22. ultralytics/cfg/models/rt-detr/rtdetr-Star.yaml

    使用StarNet CVPR2024中的StarBlock改进resnet18-basicblock.

  23. ultralytics/cfg/models/rt-detr/rtdetr-KAN.yaml

    使用Pytorch-Conv-KAN的KAN卷积算子改进resnet18-basicblock.
    目前支持:

    1. FastKANConv2DLayer
    2. KANConv2DLayer
    3. KALNConv2DLayer
    4. KACNConv2DLayer
    5. KAGNConv2DLayer

  24. ultralytics/cfg/models/rt-detr/rtdetr-DEConv.yaml

    使用DEA-Net中的detail-enhanced convolution改进resnet18-basicblock.
    关于DEConv在运行的时候重参数化后比重参数化前的计算量还要大的问题:是因为重参数化前thop库其计算不准的问题,看重参数化后的参数即可.

上下采样算子系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-DySample.yaml

    使用ICCV2023 DySample改进CCFM中的上采样.

  2. ultralytics/cfg/models/rt-detr/rtdetr-CARAFE.yaml

    使用ICCV2019 CARAFE改进CCFM中的上采样.

  3. ultralytics/cfg/models/rt-detr/rtdetr-HWD.yaml

    使用Haar wavelet downsampling改进CCFM的下采样.

  4. ultralytics/cfg/models/rt-detr/rtdetr-ContextGuidedDown.yaml

    使用CGNet中的Light-weight Context Guided DownSample改进rtdetr-r18.

  5. ultralytics/cfg/models/rt-detr/rtdetr-SRFD.yaml

    使用A Robust Feature Downsampling Module for Remote Sensing Visual Tasks改进rtdetr的下采样.

RT-DETR-L改进系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-l-GhostHGNetV2.yaml

    使用GhostConv改进HGNetV2.(详细介绍请看百度云视频-20231109更新说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-l-RepHGNetV2.yaml

    使用RepConv改进HGNetV2.(详细介绍请看百度云视频-20231109更新说明)

  3. ultralytics/cfg/models/rt-detr/rtdetr-l-attention.yaml

    添加注意力模块到HGBlock中.(手把手教程请看百度云视频-手把手添加注意力教程)

注意力系列

  1. EMA
  2. SimAM
  3. SpatialGroupEnhance
  4. BiLevelRoutingAttention, BiLevelRoutingAttention_nchw
  5. TripletAttention
  6. CoordAtt
  7. CBAM
  8. BAMBlock
  9. EfficientAttention(CloFormer中的注意力)
  10. LSKBlock
  11. SEAttention
  12. CPCA
  13. deformable_LKA
  14. EffectiveSEModule
  15. LSKA
  16. SegNext_Attention
  17. DAttention(Vision Transformer with Deformable Attention CVPR2022)
  18. FocusedLinearAttention(ICCV2023)
  19. MLCA
  20. TransNeXt_AggregatedAttention
  21. HiLo
  22. LocalWindowAttention(EfficientViT中的CascadedGroupAttention注意力)
  23. Efficient Local Attention
  24. CAA(CVPR2024 PKINet中的注意力)
  25. CAFM

IoU系列

  1. IoU,GIoU,DIoU,CIoU,EIoU,SIoU(百度云视频-20231125更新说明)
  2. MPDIoU论文链接(百度云视频-20231125更新说明)
  3. Inner-IoU,Inner-GIoU,Inner-DIoU,Inner-CIoU,Inner-EIoU,Inner-SIoU论文链接(百度云视频-20231125更新说明)
  4. Inner-MPDIoU(利用Inner-Iou与MPDIou进行二次创新)(百度云视频-20231125更新说明)
  5. Normalized Gaussian Wasserstein Distance.论文链接(百度云视频-20231125更新说明)
  6. Shape-IoU,Inner-Shape-IoU论文链接(百度云视频-20240106更新说明)
  7. SlideLoss,EMASlideLoss创新思路.Yolo-Face V2(百度云视频-20240113更新说明)
  8. Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)(百度云视频-20240113更新说明)
  9. Inner-Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)(百度云视频-20240113更新说明)
  10. Focaler-IoU,Focaler-GIoU,Focaler-DIoU,Focaler-CIoU,Focaler-EIoU,Focaler-SIoU,Focaler-Shape-IoU,Focaler-MPDIoU论文链接(百度云视频-20240128更新说明)
  11. Focaler-Wise-IoU(v1,v2,v3)(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)论文链接(百度云视频-20240128更新说明)
  12. Powerful-IoU,Powerful-IoUV2,Inner-Powerful-IoU,Inner-Powerful-IoUV2,Focaler-Powerful-IoU,Focaler-Powerful-IoUV2,Wise-Powerful-IoU(v1,v2,v3),Wise-Powerful-IoUV2(v1,v2,v3)论文链接
  13. SlideVarifocalLoss,EMASlideVarifocalLoss创新思路.Yolo-Face V2(百度云视频-20240302更新说明)

以Yolov8为基准模型的改进方案

  1. ultralytics/cfg/models/yolo-detr/yolov8-detr.yaml

    使用RT-DETR中的TransformerDecoderHead改进yolov8.

  2. ultralytics/cfg/models/yolo-detr/yolov8-detr-DWR.yaml

    使用RT-DETR中的TransformerDecoderHead和DWRSeg中的Dilation-wise Residual(DWR)模块改进yolov8.

  3. ultralytics/cfg/models/yolo-detr/yolov8-detr-fasternet.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023改进yolov8.(支持替换其他主干,请看百度云视频-替换主干示例教程)

  4. ultralytics/cfg/models/yolo-detr/yolov8-detr-AIFI-LPE.yaml

    使用RT-DETR中的TransformerDecoderHead和LearnedPositionalEncoding改进yolov8.(详细介绍请看百度云视频-20231119更新说明)

  5. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV2.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV2改进yolov8.

  6. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV3.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV3 CVPR2023改进yolov8.(安装教程请看百度云视频-20231119更新说明)

  7. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV2-Dynamic.yaml

    使用RT-DETR中的TransformerDecoderHead和自研可变形卷积DCNV2-Dynamic改进yolov8.(详细介绍请看百度云视频-MPCA与DCNV2_Dynamic的说明)

  8. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Ortho.yaml

    使用RT-DETR中的TransformerDecoderHead和OrthoNets中的正交通道注意力改进yolov8.(详细介绍请看百度云视频-20231119更新说明)

  9. ultralytics/cfg/models/yolo-detr/yolov8-detr-attention.yaml

    添加注意力到基于RTDETR-Head中的yolov8中.(手把手教程请看百度云视频-手把手添加注意力教程)

  10. ultralytics/cfg/models/yolo-detr/yolov8-detr-p2.yaml

    添加小目标检测头P2到TransformerDecoderHead中.

  11. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DySnake.yaml

    DySnakeConv与C2f融合.

  12. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中的Faster-Block改进yolov8.

  13. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-Rep.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv二次创新后的Faster-Block-Rep改进yolov8.

  14. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与EMA ICASSP2023二次创新后的Faster-Block-EMA的Faster-Block-EMA改进yolov8.

  15. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-Rep-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv、EMA ICASSP2023二次创新后的Faster-Block改进yolov8.

  16. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-AKConv.yaml

    使用RT-DETR中的TransformerDecoderHead和AKConv 2023改进yolov8.

  17. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFAConv 2023改进yolov8.

  18. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCAConv 2023改进yolov8.

  19. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCBAMConv 2023改进yolov8.

  20. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Conv3XC.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的Conv3XC改进yolov8.

  21. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-SPAB.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的SPAB改进yolov8.

  22. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DRB.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的DilatedReparamBlock改进yolov8.

  23. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-UniRepLKNetBlock.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的UniRepLKNetBlock改进yolov8.

  24. ultralytics/cfg/models/yolo-detr/yolov8-detr-DWR-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)进行二次创新改进yolov8.

  25. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DBB.yaml

    使用RT-DETR中的TransformerDecoderHead和DiverseBranchBlock CVPR2021改进yolov8.

  26. ultralytics/cfg/models/yolo-detr/yolov8-detr-CSP-EDLAN.yaml

    使用RT-DETR中的TransformerDecoderHead和DualConv打造CSP Efficient Dual Layer Aggregation Networks改进yolov8.

  27. ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF.yaml

    使用RT-DETR中的TransformerDecoderHead和ASF-YOLO中的Attentional Scale Sequence Fusion改进yolov8.

  28. ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF-P2.yaml

    在ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF.yaml的基础上进行二次创新，引入P2检测层并对网络结构进行优化.

  29. ultralytics/cfg/models/yolo-detr/yolov8-detr-slimneck.yaml

    使用RT-DETR中的TransformerDecoderHead和SlimNeck中VoVGSCSP\VoVGSCSPC和GSConv改进yolov8的neck.

  30. ultralytics/cfg/models/yolo-detr/yolov8-detr-slimneck-asf.yaml

    在ultralytics/cfg/models/yolo-detr/yolov8-detr-slimneck.yaml使用ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新.

  31. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-AggregatedAtt.yaml

    使用RT-DETR中的TransformerDecoderHead和TransNeXt中的聚合感知注意力改进C2f.(百度云视频-20240106更新说明)

  32. ultralytics/cfg/models/yolo-detr/yolov8-detr-SDI.yaml

    使用RT-DETR中的TransformerDecoderHead和U-NetV2中的 Semantics and Detail Infusion Module对yolov8中的feature fusion进行改进.

  33. ultralytics/cfg/models/yolo-detr/yolov8-detr-goldyolo.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.

  34. ultralytics/cfg/models/yolo-detr/yolov8-detr-goldyolo-asf.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute和ASF-YOLO中的Attentional Scale Sequence Fusion进行改进特征融合模块.

  35. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV4.yaml

    使用DCNV4改进C2f.

  36. ultralytics/cfg/models/yolo-detr/yolov8-detr-HSFPN.yaml

    利用RT-DETR中的TransformerDecoderHead和使用MFDS-DETR中的HS-FPN改进YOLOV8中的PAN.

  37. ultralytics/cfg/models/yolo-detr/yolov8-detr-HSPAN.yaml

    利用RT-DETR中的TransformerDecoderHead和对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进YOLOV8中的PAN.

  38. ultralytics/cfg/models/yolo-detr/yolov8-detr-Dysample.yaml

    使用ICCV2023 DySample改进yolov8-detr neck中的上采样.

  39. ultralytics/cfg/models/yolo-detr/yolov8-detr-CARAFE.yaml

    使用ICCV2019 CARAFE改进yolov8-detr neck中的上采样.

  40. ultralytics/cfg/models/yolo-detr/yolov8-detr-HWD.yaml

    使用Haar wavelet downsampling改进yolov8-detr neck的下采样.

  41. ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF-Dynamic.yaml

    使用ICCV2023 DySample改进ASF-YOLO中的Attentional Scale Sequence Fusion的上采样模块得到Dynamic Sample Attentional Scale Sequence Fusion改进yolov8-detr中的neck.

  42. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-SWC.yaml

    使用shift-wise conv改进yolov8-detr中的C2f.

  43. ultralytics/cfg/models/yolo-detr/yolov8-detr-iRMB-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进yolov8-detr中的C2f.

  44. ultralytics/cfg/models/yolo-detr/yolov8-detr-iRMB-SWC.yaml

    使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进yolov8-detr中的C2f.

  45. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-VSS.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS对C2f中的BottleNeck进行改进,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

  46. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-LVMB.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS与Cross Stage Partial进行结合,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

  47. ultralytics/cfg/models/yolo-detr/yolov8-detr-RepNCSPELAN.yaml

    使用YOLOV9中的RepNCSPELAN进行改进yolov8-detr.

  48. ultralytics/cfg/models/yolo-detr/yolov8-detr-bifpn.yaml

    添加BIFPN到yolov8中.
    其中BIFPN中有三个可选参数：

    1. Fusion
      其中BIFPN中的Fusion模块支持五种: weight, adaptive, concat, bifpn(default), SDI
      其中weight, adaptive, concat出自paper链接-Figure 3, SDI出自U-NetV2
    2. node_mode
      block模块选择,具体可看对应百度云视频-20240302更新公告.
    3. head_channel
      BIFPN中的通道数,默认设置为256.

  49. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-ContextGuided.yaml

    使用CGNet中的Light-weight Context Guided和Light-weight Context Guided DownSample改进yolov8-detr.

  50. ultralytics/cfg/models/yolo-detr/yolov8-detr-PACAPN.yaml

    自研结构, Parallel Atrous Convolution Attention Pyramid Network, PAC-APN

  51. ultralytics/cfg/models/yolo-detr/yolov8-detr-DGCST.yaml

    使用Lightweight Object Detection中的Dynamic Group Convolution Shuffle Transformer改进yolov8-detr.

  52. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RetBlock.yaml

    使用CVPR2024 RMT中的RetBlock改进C2f.

  53. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-PKI.yaml

    使用CVPR2024 PKINet中的PKIModule和CAA模块改进C2f.

  54. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-fadc.yaml

    使用CVPR2024 Frequency-Adaptive Dilated Convolution改进C2f.

  55. ultralytics/cfg/models/yolo-detr/yolov8-detr-FDPN.yaml

    自研特征聚焦扩散金字塔网络(Focusing Diffusion Pyramid Network)

    1. 通过定制的特征聚焦模块与特征扩散机制，能让每个尺度的特征都具有详细的上下文信息，更有利于后续目标的检测与分类。
    2. 定制的特征聚焦模块可以接受三个尺度的输入，其内部包含一个Inception-Style的模块，其利用一组并行深度卷积来捕获丰富的跨多个尺度的信息。
    3. 通过扩散机制使具有丰富的上下文信息的特征进行扩散到各个检测尺度.

  56. ultralytics/cfg/models/yolo-detr/yolov8-detr-FDPN-DASI.yaml

    使用HCFNet中的Dimension-Aware Selective Integration Module对自研的Focusing Diffusion Pyramid Network再次创新.

  57. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-PPA.yaml

    使用HCFNet中的Parallelized Patch-Aware Attention Module改进C2f.

  58. ultralytics/cfg/models/yolo-detr/yolov8-detr-SRFD.yaml

    使用A Robust Feature Downsampling Module for Remote Sensing Visual Tasks改进yolov8的下采样.

  59. ultralytics/cfg/models/yolo-detr/yolov8-detr-CSFCN.yaml

    使用Context and Spatial Feature Calibration for Real-Time Semantic Segmentation中的Context and Spatial Feature Calibration模块改进yolov8.

  60. ultralytics/cfg/models/yolo-detr/yolov8-detr-CGAFusion.yaml

    使用DEA-Net中的content-guided attention fusion改进yolov8-neck.

  61. ultralytics/cfg/models/yolo-detr/yolov8-detr-CAFMFusion.yaml

    利用具有HCANet中的CAFM，其具有获取全局和局部信息的注意力机制进行二次改进content-guided attention fusion.

  62. ultralytics/cfg/models/yolo-detr/yolov8-detr-RGCSPELAN.yaml

    自研RepGhostCSPELAN.

    1. 参考GhostNet中的思想(主流CNN计算的中间特征映射存在广泛的冗余)，采用廉价的操作生成一部分冗余特征图，以此来降低计算量和参数量。
    2. 舍弃yolov5与yolov8中常用的BottleNeck，为了弥补舍弃残差块所带来的性能损失，在梯度流通分支上使用RepConv，以此来增强特征提取和梯度流通的能力，并且RepConv可以在推理的时候进行融合，一举两得。
    3. 可以通过缩放因子控制RGCSPELAN的大小，使其可以兼顾小模型和大模型。

  63. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-CGLU.yaml

    使用TransNeXt CVPR2024中的Convolutional GLU对CVPR2023中的FasterNet进行二次创新.

  64. ultralytics/cfg/models/yolo-detr/yolov8-detr-SDFM.yaml

    使用PSFusion中的superficial detail fusion module改进yolov8-neck.

  65. ultralytics/cfg/models/yolo-detr/yolov8-detr-PSFM.yaml

    使用PSFusion中的profound semantic fusion module改进yolov8-neck.

  66. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Star.yaml

    使用StarNet CVPR2024中的StarBlock改进C2f.

  67. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Star-CAA.yaml

    使用StarNet CVPR2024中的StarBlock和CVPR2024 PKINet中的CAA改进C2f.

  68. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-KAN.yaml

    使用Pytorch-Conv-KAN的KAN卷积算子改进C2f.
    目前支持:

    1. FastKANConv2DLayer
    2. KANConv2DLayer
    3. KALNConv2DLayer
    4. KACNConv2DLayer
    5. KAGNConv2DLayer

以Yolov5为基准模型的改进方案

  1. ultralytics/cfg/models/yolo-detr/yolov5-detr.yaml

    使用RT-DETR中的TransformerDecoderHead改进yolov5.

  2. ultralytics/cfg/models/yolo-detr/yolov5-detr-DWR.yaml

    使用RT-DETR中的TransformerDecoderHead和DWRSeg中的Dilation-wise Residual(DWR)模块改进yolov5.

  3. ultralytics/cfg/models/yolo-detr/yolov5-detr-fasternet.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023改进yolov5.(支持替换其他主干,请看百度云视频-替换主干示例教程)

  4. ultralytics/cfg/models/yolo-detr/yolov5-detr-AIFI-LPE.yaml

    使用RT-DETR中的TransformerDecoderHead和LearnedPositionalEncoding改进yolov5.(详细介绍请看百度云视频-20231119更新说明)

  5. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV2.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV2改进yolov5.

  6. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV3.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV3 CVPR2023改进yolov5.(安装教程请看百度云视频-20231119更新说明)

  7. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV2-Dynamic.yaml

    使用RT-DETR中的TransformerDecoderHead和自研可变形卷积DCNV2-Dynamic改进yolov5.(详细介绍请看百度云视频-MPCA与DCNV2_Dynamic的说明)

  8. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Ortho.yaml(详细介绍请看百度云视频-20231119更新说明)

    使用RT-DETR中的TransformerDecoderHead和OrthoNets中的正交通道注意力改进yolov5.

  9. ultralytics/cfg/models/yolo-detr/yolov5-detr-attention.yaml

    添加注意力到基于RTDETR-Head中的yolov5中.(手把手教程请看百度云视频-手把手添加注意力教程)

  10. ultralytics/cfg/models/yolo-detr/yolov5-detr-p2.yaml

    添加小目标检测头P2到TransformerDecoderHead中.

  11. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DySnake.yaml

    DySnakeConv与C3融合.

  12. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中的Faster-Block改进yolov5.

  13. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-Rep.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv二次创新后的Faster-Block-Rep改进yolov5.

  14. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与EMA ICASSP2023二次创新后的Faster-Block-EMA的Faster-Block-EMA改进yolov5.

  15. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-Rep-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv、EMA ICASSP2023二次创新后的Faster-Block改进yolov5.

  16. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-AKConv.yaml

    使用RT-DETR中的TransformerDecoderHead和AKConv 2023改进yolov5.

  17. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFAConv 2023改进yolov5.

  18. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCAConv 2023改进yolov5.

  19. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCBAMConv 2023改进yolov5.

  20. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Conv3XC.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的Conv3XC改进yolov5.

  21. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-SPAB.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的SPAB改进yolov5.

  22. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DRB.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的DilatedReparamBlock改进改进yolov5.

  23. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-UniRepLKNetBlock.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的UniRepLKNetBlock改进改进yolov5.

  24. ultralytics/cfg/models/yolo-detr/yolov5-detr-DWR-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)进行二次创新改进yolov5.

  25. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DBB.yaml

    使用RT-DETR中的TransformerDecoderHead和DiverseBranchBlock CVPR2021改进yolov5.

  26. ultralytics/cfg/models/yolo-detr/yolov5-detr-CSP-EDLAN.yaml

    使用RT-DETR中的TransformerDecoderHead和DualConv打造CSP Efficient Dual Layer Aggregation Networks改进yolov5.

  27. ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF.yaml

    使用RT-DETR中的TransformerDecoderHead和ASF-YOLO中的Attentional Scale Sequence Fusion改进yolov5.

  28. ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF-P2.yaml

    在ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF.yaml的基础上进行二次创新，引入P2检测层并对网络结构进行优化.

  29. ultralytics/cfg/models/yolo-detr/yolov5-detr-slimneck.yaml

    使用RT-DETR中的TransformerDecoderHead和SlimNeck中VoVGSCSP\VoVGSCSPC和GSConv改进yolov5的neck.

  30. ultralytics/cfg/models/yolo-detr/yolov5-detr-slimneck-asf.yaml

    在ultralytics/cfg/models/yolo-detr/yolov5-detr-slimneck.yaml使用ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新.

  31. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-AggregatedAtt.yaml

    使用RT-DETR中的TransformerDecoderHead和TransNeXt中的聚合感知注意力改进C3.(百度云视频-20240106更新说明)

  32. ultralytics/cfg/models/yolo-detr/yolov5-detr-SDI.yaml

    使用RT-DETR中的TransformerDecoderHead和U-NetV2中的 Semantics and Detail Infusion Module对yolov5中的feature fusion进行改进.

  33. ultralytics/cfg/models/yolo-detr/yolov5-detr-goldyolo.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.

  34. ultralytics/cfg/models/yolo-detr/yolov5-detr-goldyolo-asf.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute和ASF-YOLO中的Attentional Scale Sequence Fusion进行改进特征融合模块.

  35. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV4.yaml

    使用DCNV4改进C3.

  36. ultralytics/cfg/models/yolo-detr/yolov5-detr-HSFPN.yaml

    利用RT-DETR中的TransformerDecoderHead和使用MFDS-DETR中的HS-FPN改进YOLOV5中的PAN.

  37. ultralytics/cfg/models/yolo-detr/yolov5-detr-HSPAN.yaml

    利用RT-DETR中的TransformerDecoderHead和对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进YOLOV5中的PAN.

  38. ultralytics/cfg/models/yolo-detr/yolov8-detr-Dysample.yaml

    使用ICCV2023 DySample改进yolov8-detr neck中的上采样.

  39. ultralytics/cfg/models/yolo-detr/yolov8-detr-CARAFE.yaml

    使用ICCV2019 CARAFE改进yolov8-detr neck中的上采样.

  40. ultralytics/cfg/models/yolo-detr/yolov8-detr-HWD.yaml

    使用Haar wavelet downsampling改进yolov8-detr neck的下采样.

  41. ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF-Dynamic.yaml

    使用ICCV2023 DySample改进ASF-YOLO中的Attentional Scale Sequence Fusion的上采样模块得到Dynamic Sample Attentional Scale Sequence Fusion改进yolov5-detr中的neck.

  42. ultralytics/cfg/models/yolo-detr/yolov5-detr-SWC.yaml

    使用shift-wise conv改进yolov5-detr中的C3.

  43. ultralytics/cfg/models/yolo-detr/yolov5-detr-iRMB-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进yolov5-detr中的C2f.

  44. ultralytics/cfg/models/yolo-detr/yolov5-detr-iRMB-SWC.yaml

    使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进yolov5-detr中的C2f.

  45. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-VSS.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS对C3中的BottleNeck进行改进,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

  46. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-LVMB.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS与Cross Stage Partial进行结合,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

  47. ultralytics/cfg/models/yolo-detr/yolov5-detr-RepNCSPELAN.yaml

    使用YOLOV9中的RepNCSPELAN进行改进yolov5-detr.

  48. ultralytics/cfg/models/yolo-detr/yolov5-detr-bifpn.yaml

    添加BIFPN到yolov8中.
    其中BIFPN中有三个可选参数：

    1. Fusion
      其中BIFPN中的Fusion模块支持五种: weight, adaptive, concat, bifpn(default), SDI
      其中weight, adaptive, concat出自paper链接-Figure 3, SDI出自U-NetV2
    2. node_mode
      block模块选择,具体可看对应百度云视频-20240302更新公告.
    3. head_channel
      BIFPN中的通道数,默认设置为256.

  49. ultralytics/cfg/models/yolo-detr/yolov5-detr-C2f-ContextGuided.yaml

    使用CGNet中的Light-weight Context Guided和Light-weight Context Guided DownSample改进yolov5-detr.

  50. ultralytics/cfg/models/yolo-detr/yolov5-detr-PACAPN.yaml

    自研结构, Parallel Atrous Convolution Attention Pyramid Network, PAC-APN

  51. ultralytics/cfg/models/yolo-detr/yolov5-detr-DGCST.yaml

    使用Lightweight Object Detection中的Dynamic Group Convolution Shuffle Transformer改进yolov5-detr.

  52. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RetBlock.yaml

    使用CVPR2024 RMT中的RetBlock改进C3.

  53. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-PKI.yaml

    使用CVPR2024 PKINet中的PKIModule和CAA模块改进C3.

  54. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-fadc.yaml

    使用CVPR2024 Frequency-Adaptive Dilated Convolution改进C3.

  55. ultralytics/cfg/models/yolo-detr/yolov5-detr-FDPN.yaml

    自研特征聚焦扩散金字塔网络(Focusing Diffusion Pyramid Network)

    1. 通过定制的特征聚焦模块与特征扩散机制，能让每个尺度的特征都具有详细的上下文信息，更有利于后续目标的检测与分类。
    2. 定制的特征聚焦模块可以接受三个尺度的输入，其内部包含一个Inception-Style的模块，其利用一组并行深度卷积来捕获丰富的跨多个尺度的信息。
    3. 通过扩散机制使具有丰富的上下文信息的特征进行扩散到各个检测尺度.

  56. ultralytics/cfg/models/yolo-detr/yolov5-detr-FDPN-DASI.yaml

    使用HCFNet中的Dimension-Aware Selective Integration Module对自研的Focusing Diffusion Pyramid Network再次创新.

  57. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-PPA.yaml

    使用HCFNet中的Parallelized Patch-Aware Attention Module改进C3.

  58. ultralytics/cfg/models/yolo-detr/yolov5-detr-SRFD.yaml

    使用A Robust Feature Downsampling Module for Remote Sensing Visual Tasks改进yolov5的下采样.

  59. ultralytics/cfg/models/yolo-detr/yolov5-detr-CSFCN.yaml

    使用Context and Spatial Feature Calibration for Real-Time Semantic Segmentation中的Context and Spatial Feature Calibration模块改进yolov5.

  60. ultralytics/cfg/models/yolo-detr/yolov5-detr-CGAFusion.yaml

    使用DEA-Net中的content-guided attention fusion改进yolov5-neck.

  61. ultralytics/cfg/models/yolo-detr/yolov5-detr-CAFMFusion.yaml

    利用具有HCANet中的CAFM，其具有获取全局和局部信息的注意力机制进行二次改进content-guided attention fusion.

  62. ultralytics/cfg/models/yolo-detr/yolov5-detr-RGCSPELAN.yaml

    自研RepGhostCSPELAN.

    1. 参考GhostNet中的思想(主流CNN计算的中间特征映射存在广泛的冗余)，采用廉价的操作生成一部分冗余特征图，以此来降低计算量和参数量。
    2. 舍弃yolov5与yolov8中常用的BottleNeck，为了弥补舍弃残差块所带来的性能损失，在梯度流通分支上使用RepConv，以此来增强特征提取和梯度流通的能力，并且RepConv可以在推理的时候进行融合，一举两得。
    3. 可以通过缩放因子控制RGCSPELAN的大小，使其可以兼顾小模型和大模型。

  63. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-CGLU.yaml

    使用TransNeXt CVPR2024中的Convolutional GLU对CVPR2023中的FasterNet进行二次创新.

  64. ultralytics/cfg/models/yolo-detr/yolov5-detr-SDFM.yaml

    使用PSFusion中的superficial detail fusion module改进yolov5-neck.

  65. ultralytics/cfg/models/yolo-detr/yolov5-detr-PSFM.yaml

    使用PSFusion中的profound semantic fusion module改进yolov5-neck.

  66. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Star.yaml

    使用StarNet CVPR2024中的StarBlock改进C3.

  67. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Star-CAA.yaml

    使用StarNet CVPR2024中的StarBlock和CVPR2024 PKINet中的CAA改进C3.

  68. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-KAN.yaml

    使用Pytorch-Conv-KAN的KAN卷积算子改进C3.
    目前支持:

    1. FastKANConv2DLayer
    2. KANConv2DLayer
    3. KALNConv2DLayer
    4. KACNConv2DLayer
    5. KAGNConv2DLayer

更新公告

  • 20231105-rtdetr-v1.0

    1. 初版项目发布.

  • 20231109-rtdetr-v1.1

    1. 修复断点训练不能正常使用的bug.
    2. 优化get_FPS.py中的模型导入方法.
    3. 增加以yolov5和yolov8为基准模型更换为RTDETR的Head,后续也会提供yolov5-detr,yolov8-detr相关的改进.
    4. 新增百度云视频-20231109更新说明视频和替换主干说明视频.
    5. 新增GhostHGNetV2,RepHGNetV2,详细请看使用教程中的RT-DETR改进方案.
    6. 新增使用DWRSeg中的Dilation-wise Residual(DWR)模块,加强从网络高层的可扩展感受野中提取特征,详细请看使用教程中的RT-DETR改进方案.

  • 20231119-rtdetr-v1.2

    1. 增加DCNV2,DCNV3,DCNV2-Dynamic,并以RTDETR-R18,RTDETR-R50,YOLOV5-Detr,YOLOV8-Detr多个基准模型进行改进,详细请看使用教程中的RT-DETR改进方案.
    2. 使用CVPR2022-OrthoNets中的正交通道注意力改进resnet18-backbone中的BasicBlock,resnet50-backbone中的BottleNeck,yolov8-C2f,yolov5-C3,详细请看使用教程中的RT-DETR改进方案.
    3. 使用LearnedPositionalEncoding改进AIFI中的位置编码信息生成,详细请看使用教程中的RT-DETR改进方案.
    4. 增加EMO模型中的iRMB模块,并使用(EfficientViT-CVPR2023)中的CascadedAttention对其二次创新得到iRMB_Cascaded,详细请看使用教程中的RT-DETR改进方案.
    5. 百度云视频增加1119更新说明和手把手添加注意力机制视频教学.
    6. 更新使用教程.

  • 20231126-rtdetr-v1.3

    1. 支持IoU,GIoU,DIoU,CIoU,EIoU,SIoU.
    2. 支持MPDIoU,Inner-IoU,Inner-MPDIoU.
    3. 支持Normalized Gaussian Wasserstein Distance.
    4. 支持小目标检测层P2.
    5. 支持DySnakeConv.
    6. 新增Pconv,PConv-Rep(二次创新)优化rtdetr-r18与rtdetr-r50.
    7. 新增Faster-Block,Faster-Block-Rep(二次创新),Faster-Block-EMA(二次创新),Faster-Block-Rep-EMA(二次创新)优化rtdetr-r18、rtdetr-r50、yolov5-detr、yolov8-retr.
    8. 更新使用教程.
    9. 百度云视频增加1126更新说明.

  • 20231202-rtdetr-v1.4

    1. 支持AKConv(具有任意采样形状和任意数目参数的卷积核).
    2. 支持RFAConv,RFCAConv,RFCBAMConv(感受野注意力卷积).
    3. 支持UniRepLKNet(大核CNNRepLK正统续作).
    4. 使用CVPR2022 DAttention改进AIFI.
    5. 更新使用教程.
    6. 百度云视频增加1202更新说明.
    7. 解决训练过程中由于指标出现的nan问题导致best.pt没办法正常保存.

  • 20231210-rtdetr-v1.5

    1. 支持来自Swift Parameter-free Attention Network中的重参数化Conv3XC模块.
    2. 支持UniRepLKNet中的DilatedReparamBlock.
    3. 支持UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)模块进行二次创新的DWR_DRB.
    4. 使用ICCV2023 FLatten Transformer中的FocusedLinearAttention改进AIFI.
    5. 更新使用教程.
    6. 百度云视频增加1210更新说明.

  • 20231214-rtdetr-v1.6

    1. 支持DiverseBranchBlock.
    2. 利用DualConv打造CSP Efficient Dual Layer Aggregation Networks(仅支持yolov5-detr和yolov8-detr).
    3. 使用Swift Parameter-free Attention Network中的重参数化Conv3XC和DiverseBranchBlock改进RepC3.
    4. 支持最新的ASF-YOLO中的Attentional Scale Sequence Fusion.
    5. 更新使用教程.
    6. 百度云视频增加1214更新说明.

  • 20231223-rtdetr-v1.7

    1. 增加rtdetr-r18-asf-p2.yaml,使用ASF-YOLO中的Attentional Scale Sequence Fusion与Small Object Detection Head进行二次创新.
    2. 新增rtdetr-slimneck.yaml和rtdetr-slimneck-ASF.yaml.
    3. 新增yolov8-detr-slimneck.yaml,yolov8-detr-slimneck-asf.yaml.
    4. 新增yolov5-detr-slimneck.yaml,yolov5-detr-slimneck-asf.yaml.
    5. 修正热力图计算中预处理.
    6. 更新使用教程.
    7. 百度云视频增加1223更新说明.

  • 20240106-rtdetr-v1.8

    1. 新增Shape-IoU,Inner-Shape-IoU.
    2. 新增支持TransNeXt主干和TransNeXt中的聚焦感知注意力机制.
    3. 新增U-NetV2中的Semantics and Detail Infusion Module对RTDETR的CCFM进行创新.
    4. ASF系列支持attention_add.
    5. 更新使用教程.
    6. 百度云视频增加20240106更新说明.

  • 20240113-rtdetr-v1.9

    1. 支持Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU).
    2. 支持Inner-Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU).
    3. 支持SlideLoss,EMASlideLoss(利用Exponential Moving Average优化mean iou,可当自研创新模块).
    4. 使用华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.
    5. 使用ASF-YOLO中Attentional Scale Sequence Fusion与GOLD-YOLO中的Gatherand-Distribute进行二次创新结合.
    6. 修正rtdetr-r34中检测头参数错误的问题,增加rtdetr-r34,rtdetr-r50-m的预训练权重.
    7. 更新使用教程.
    8. 百度云视频增加20240113更新说明.

  • 20240120-rtdetr-v1.10

    1. 新增DCNV4.
    2. 使用LITv2中具有提取高低频信息的高效注意力对AIFI进行二次改进.
    3. 使用MFDS-DETR中的HS-FPN改进RTDETR中的CCFM和YOLOV5-DETR、YOLOV8-DETR中的Neck.
    4. 对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进RTDETR中的CCFM和YOLOV5-DETR、YOLOV8-DETR中的Neck.
    5. 修复没有使用wiou时候断点续寻的bug.
    6. 修复plot_result.py画结果图中乱码的问题.
    7. 更新使用教程.
    8. 百度云视频增加20240120更新说明.

  • 20240128-rtdetr-v1.11

    1. 增加CARAFE轻量化上采样算子.
    2. 增加DySample(ICCV2023)动态上采样算子.
    3. 增加Haar wavelet downsampling下采样算子.
    4. 增加Focaler-IoU,Focaler-GIoU,Focaler-DIoU,Focaler-CIoU,Focaler-EIoU,Focaler-SIoU,Focaler-Shape-IoU,Focaler-MPDIoU.
    5. 增加Focaler-Wise-IoU(v1,v2,v3)(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU).
    6. 使用DySample(ICCV2023)动态上采样算子对ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新.
    7. 更新使用教程.
    8. 百度云视频增加20240128更新说明.

  • 20240206-rtdetr-v1.12

    1. 新增Shift-ConvNets相关改进内容.(rtdetr-SWC.yaml,rtdetr-R50-SWC.yaml,yolov8-detr-C2f-SWC.yaml,yolov5-detr-C3-SWC.yaml)
    2. 使用UniRepLKNet中的DilatedReparamBlock对EMO中的iRMB进行二次创新.
    3. 使用Shift-ConvNets中的具有移位操作的卷积对EMO中的iRMB进行二次创新.
    4. 更新使用教程.
    5. 百度云视频增加20240206更新说明.

  • 20240219-rtdetr-v1.13

    1. 使用最新的Mamba架构(号称超越Transformer的新架构)改进rtdetr-r18,rtdetr-r50,yolov5-detr,yolov8-detr.
    2. 新增Powerful-IoU,Powerful-IoUV2,Inner-Powerful-IoU,Inner-Powerful-IoUV2,Focaler-Powerful-IoU,Focaler-Powerful-IoUV2,Wise-Powerful-IoU(v1,v2,v3),Wise-Powerful-IoUV2(v1,v2,v3)系列.
    3. 更新热力图脚本,使用方式可参考最新发的yolov5v7-gradcam的视频.
    4. 更新COCO脚本,增加其他指标输出.
    5. 更新使用教程.
    6. 百度云视频增加20240219更新说明.

  • 20240225-rtdetr-v1.14

    1. 新增YOLOV9中的RepNCSPELAN模块.
    2. 使用DBB,OREPA,DilatedReparamBlock,Conv3XC对YOLOV9中的RepNCSPELAN模块进行二次创新.
    3. 更新使用教程.
    4. 百度云视频增加20240225更新说明.

  • 20240302-rtdetr-v1.15

    1. 新增CGNet中的Light-weight Context Guided和Light-weight Context Guided DownSample模块.
    2. Neck模块新增BIFPN,并对其进行创新,支持替换不同的block.
    3. 为RTDETR定制SlideVarifocalLoss,EMASlideVarifocalLoss.
    4. 更新使用教程.
    5. 百度云视频增加20240302更新说明.

  • 20240307-rtdetr-v1.16

    1. 新增自研Neck结构Parallel Atrous Convolution Attention Pyramid Network, PAC-APN.附带模块内结构图
    2. 复现Lightweight Object Detection中的Dynamic Group Convolution Shuffle Transformer.
    3. 更新使用教程.
    4. 百度云视频增加20240307更新说明.

  • 20240321-rtdetr-v1.17

    1. 新增CVPR2024-RMT主干,并支持RetBlock改进RepC3.
    2. 新增2024年新出的Efficient Local Attention,并用其对HSFPN进行二次创新.
    3. 使用CVPR2021-CoordAttention对HSFPN进行二次创新.
    4. 更新使用教程,增加多个常见疑问解答.
    5. 百度云视频增加20240321更新说明.

  • 20240404-rtdetr-v1.18

    1. 新增CVPR2024 PKINet主干.
    2. 新增CVPR2024 PKINet中的PKIModule和CAA模块,提出C2f-PKI.
    3. 使用CVPR2024 PKINet中的Context Anchor Attention改进RepNCSPELAN、HSFPN.
    4. 新增CVPR2024 Frequency-Adaptive Dilated Convolution.
    5. 增加有效感受野可视化脚本.
    6. 更新使用教程
    7. 百度云视频增加20240404更新说明.

  • 20240412-rtdetr-v1.19

    1. 新增自研Focusing Diffusion Pyramid Network.
    2. 新增HCFNet针对小目标分割的Parallelized Patch-Aware Attention Module改进C2f.
    3. 新增HCFNet针对小目标分割的Dimension-Aware Selective Integration Module对自研Focusing Diffusion Pyramid Network再次进行创新.
    4. 更新使用教程.
    5. 百度云视频增加20240412更新说明.

  • 20240427-rtdetr-v1.20

    1. 新增mobilenetv4-backbone.
    2. 新增A Robust Feature Downsampling Module for Remote Sensing Visual Tasks中的下采样.
    3. 新增Context and Spatial Feature Calibration for Real-Time Semantic Segmentation中的Context and Spatial Feature Calibration.
    4. 更新使用教程.
    5. 百度云视频增加20240427更新说明.

  • 20240502-rtdetr-v1.21

    1. 新增支持content-guided attention fusion改进rtdetr-neck.
    2. 新增支持使用CAFM对CGAFusion进行二次改进,得到CAFMFusion改进rtdetr-neck.
    3. get_FPS.py脚本新增可以通过yaml测试推理速度.
    4. 新增自研RGCSPELAN,其比C3、ELAN、C2f、RepNCSPELAN更低参数量和计算量更快推理速度.
    5. 更新使用教程.
    6. 百度云视频增加20240502更新说明.

  • 20240518-rtdetr-v1.22

    1. 新增CVPR2024-StarNet-Backbone以及其衍生的改进(C3-Star、C3-Star-CAA、C2f-Star、C2f-Star-CAA、BasicBlock_Star、BottleNeck_Star).
    2. 使用CVPR2024-TransNext中的Convolutional GLU对CVPR2023-FasterBlock进行二次创新(C3_Faster_CGLU, C2f_Faster_CGLU, BasicBlock_Faster_Block_CGLU, BottleNeck_Faster_Block_CGLU).
    3. 新增PSFusion中的superficial detail fusion module、profound semantic fusion module.
    4. 更新使用教程.
    5. 百度云视频增加20240518更新说明.

  • 20240525-rtdetr-v1.23

    1. KAN In! Mamba Out!,集成pytorch-kan-conv，支持多种KAN变种！
    2. 同步DCNV4-CVPR2024最新代码.
    3. 更新使用教程.
    4. 百度云视频增加20240525更新说明.

  • 20240608-rtdetr-v1.24

    1. 新增自研ContextGuideFPN.
    2. 新增detail-enhanced convolution改进RTDETR.
    3. 新增自研SMPCGLU，里面的模块分别来自CVPR2023和CVPR2024.
    4. 更新使用教程.
    5. 百度云视频增加20240608更新说明.
魔鬼面具
关注
  • 34
    点赞
  • 踩
  • 170
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
YOLOv9改进策略 | Conv篇 | 模拟人类视觉系统依赖上下文信息的下采样方法ContextGuided（包含二次创新RepNCSPELAN）
Snu77的博客
04-21 1388
本文给大家带来的是改进机制是一种替换Conv的模块Context Guided Block (CG block)，其是在CGNet论文中提出的一种模块，其基本原理是模拟人类视觉系统依赖上下文信息来理解场景。CG block 用于捕获局部特征、周围上下文和全局上下文，并将这些信息融合起来以提高准确性，同时本文的修改方法和之前的普通卷积模块也有所不同，大家需要注意看章节四进行修改。同时欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。同时本专栏目前改进基于yolo
YoloV9改进策略：BackBone|融合改进的HCANet网络中的多尺度前馈网络（MSFN）|二次创新|即插即用
最新发布
m0_47867638的博客
05-30 125
本文使用HCANet网络中的多尺度前馈网络来提高Backbone的表征能力和检测精度。即插即用，方便大家移植自己的模型中。本文还提供完整的代码链接，包含改进的模型和数据集，开箱即用。
目标检测+RTDETR+训练与预测代码
12-19
使用Ultralytics公司的yolov8版本集成RTDETR模型，可用于训练与预测。本文件包含如何训练的命令与预测py代码及权重和数据集，可直接执行进行训练或预测。
【RT-DETR有效改进】结合SOTA思想利用双主干网络改进RT-DETR（全网独家创新，重磅更新）
Snu77的博客
03-04 3054
本文给大家带来的改进机制是结合目前SOTAYOLOv9的思想利用双主干网络来改进YOLOv8（本专栏目前发布以来改进最大的内容，同时本文内容为我个人一手整理全网独家首发 | 就连V9官方不支持的模型宽度和深度修改我都均已提供，本文内容支持RT-DETR全系列模型均可使用，本文的内容超级适合想要发表论文的读者创新性不够，工作量不够的，本文的改进在感官上给人就有一种工作量多和创新点十足的感觉，同时本专栏内容以后均采用NEU-DET数据集进行对比实验模型（避免大家质疑数据集质量的问题），本文内容为独家整理！。
YoloV8改进策略：注意力改进|HCANet全局与局部的注意力模块CAFM|二次创新|即插即用
m0_47867638的博客
05-24 338
本文是在CAFM的基础上做了一些修改，算是二次创新吧！修改后的模块对比原来的模型有了很大的提升。我用改进后的模型来改进YoloV8，精度得到了大幅度的提升，即插即用，简单易懂。为了方便大家写论文，我现在增加了论文写作的模块，告诉大家如何在自己的论文中描述本次改进。对CAFM模块做了适当的修改，加入了DropPath和激活函数，又加入了残差链接，方便其集成到YoloV8中。
YOLOv8改进教程|加入可改变核卷积AKConv模块，效果远超DSConv！
深度学习炼丹师，偶尔分享炼丹技术!
05-15 564
论文速览：：AKConv是2023年11月发表的一种可变卷积核，赋予卷积核任意数量的参数和任意采样形状，以解决具有固定样本形状和正方形的卷积核不能很好地适应不断变化的目标的问题点可以为网络开销和性能之间的权衡提供更丰富的选择。AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量的参数(如1,2,3,4,5,6,7等)来提取姝征，这在标准卷积和可变形卷积中并未实现。AKConv能够根据硬件环境，使卷积参数的数星呈线性增减（(非常适用于轻量化模型)。
RT-DETR算法改进：更换损失函数Alpha-IoU损失函数，边界框回归联合损失的幂交集，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 613
RT-DETR算法｜改进Alpha-IoU损失函数
RT-DETR算法改进：更换损失函数XIoU损失函数，相比较CIoU改进涨点，YOLO改进Trick，提升网络模型性能、收敛速度和鲁棒性，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-20 361
RT-DETR算法改进 | 更换损失函数XIoU损失函数
RT-DETR算法优化改进：轻量级Backbone改进 | 支持Paddle轻量级 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等版本
各专栏持续更新中，改进创新YOLO，适用v5、v7、v8、v9，订阅者私信添加本人微信！！！ By AI小怪兽
11-15 1334
支持百度飞浆resnet各个版本，rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等轻量化backbone
【RT-DETR有效改进】轻量级下采样方法ContextGuided（参数量下降700W，轻量又涨点）
Snu77的博客
02-06 2293
本文给大家带来的是改进机制是一种替换Conv的模块，其是在CGNet论文中提出的一种模块，其基本原理是模拟人类视觉系统依赖上下文信息来理解场景。CG block 用于捕获局部特征、周围上下文和全局上下文，并将这些信息融合起来以提高准确性。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，同时本文的改进也支持主干上的即插即用，本文内容也支持PP-HGNetV2版本的修改。
【RT-DETR有效改进】带你分析如何确定改进的基础模型，解决模型无法收敛精度很差的问题(ResNet官方一比一复现)
Snu77的博客
01-12 2304
Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。其次我也将RT-DER的官方版本。
CVPR2024:用于野外逼真图像恢复的实用算法
03-11
(CVPR2024) Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild
Latex CVPR 2022模板
03-03
│ cvpr.sty │ egbib.bib │ ieee_fullname.bst │ PaperForReview.pdf │ PaperForReview.tex │ README.md │ RebuttalTemplate.pdf │ RebuttalTemplate.tex
Python_CVPR 2024实时开放词汇对象检测.zip
05-24
Python_CVPR 2024实时开放词汇对象检测
CVPR 2022 LaTex 模板
05-07
CVPR 2022 LaTex 模板
Python_CVPR 2024语言引导生成3D嵌入AI环境.zip
05-24
Python_CVPR 2024语言引导生成3D嵌入AI环境
RT-DETR算法优化改进：多维协作注意模块MCA，暴力涨点，效果秒杀ECA、SRM、CBAM等 | 即插即用系列
各专栏持续更新中，改进创新YOLO，适用v5、v7、v8、v9，订阅者私信添加本人微信！！！ By AI小怪兽
11-13 950
多维协作注意模块MCA，暴力涨点，效果秒杀ECA、SRM、CBAM，创新性十足，可直接作为创新点使用。1）代替RepC3进行使用；2）MCAAttention直接作为注意力进行使用；
【RT-DETR改进涨点】ResNet18、34、50、101等多个版本移植到ultralytics仓库(RT-DETR官方一比一移植)
Snu77的博客
01-29 1591
本文是本专栏的第一篇改进，我将RT-DETR官方版本中的ResNet18、ResNet34、ResNet50、ResNet101移植到ultralytics仓库，网上很多改进机制是将基础版本的也就是2015年发布的ResNet移植到ultralytics仓库中，但是其实RT-DETR实验的ResNet和其是有很大区别的在其中有很多细节上的不同（文章中我也会列出举例）
# YOLOv9全网最新改进系列：融合最新顶会提出的HCANet网络中卷积和注意力融合模块(CAFM)，有效提升小目标检测性能，大幅度拉升目标检测效果！遥遥领先！
weixin_51692073的博客
04-22 1190
YOLOv9全网最新改进系列：融合最新顶会提出的HCANet网络中卷积和注意力融合模块(CAFM)，有效提升小目标检测性能，大幅度拉升目标检测效果！遥遥领先！
indoor cvpr
02-01
indoor cvpr是室内计算机视觉与模式识别的简称。它是一个涉及计算机科学、人工智能和图像处理等领域的研究课题。室内cvpr主要着眼于在室内环境中对视觉图像和视频进行智能处理和分析，以实现识别、理解和推断室内环境中的各种物体、场景和行为。 室内cvpr的研究内容包括室内定位和导航、室内物体检测和识别、室内场景理解和建模、室内行为分析和识别等多个方面。这些研究内容的应用领域涉及到室内智能家居、室内智能安防、室内无人车辆等多个领域。 对于室内cvpr的研究者来说，他们需要充分了解室内环境的特点和挑战，如光照条件复杂、物体遮挡较多、场景结构复杂等。同时，他们也需要深入研究和探索各种计算机视觉和模式识别的算法和技术，以解决室内环境中的各种视觉问题。 总之，室内cvpr是一个综合了计算机视觉和模式识别的研究领域，它的研究内容涉及到室内环境中的各种视觉问题，其研究成果将会对室内智能化技术的发展产生重要的影响和推动作用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

魔鬼面具

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值