即插即用篇 | YOLOv8 引入 动态滤波器 DynamicFilter

最新推荐文章于 2025-05-01 18:19:05 发布
最新推荐文章于 2025-05-01 18:19:05 发布
阅读量661 收藏 1
点赞数 1
分类专栏： YOLOv8改进实战🚀 文章标签： YOLO 深度学习 即插即用 缝合 注意力机制 Pytorch
原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。
本文链接：https://blog.csdn.net/weixin_43694096/article/details/143416876
版权

在这里插入图片描述

在这里插入图片描述

论文名称：《FFT-based Dynamic Token Mixer for Vision》
论文地址：https://arxiv.org/pdf/2303.03932

装备多头自注意力（MHSA）的模型在计算机视觉领域取得了显著性能。然而，其计算复杂度与输入特征图中像素数的平方成正比，导致在处理高分辨率图像时处理速度较慢。为规避这一问题，提出了新型的token-mixer作为MHSA的替代方案：一种基于FFT的token-mixer，涉及类似MHSA的全局操作，但计算复杂度更低。然而，尽管该FFT-based token-mixer具有吸引人的特性，其与快速发展的MetaFormer架构的兼容性尚未得到深入研究。为此，我们提出了一种新的token-mixer，称为动态滤波器（Dy

了解本专栏 订阅专栏 解锁全文
YOLOv5，YOLOv8添加ASFF（自适应空间特征融合）
weixin_45303602的博客
09-21 4041
ASFF：Adaptively Spatial Feature Fusion (自适应空间特征融合)
即插即用篇 | YOLOv10 引入 动态滤波器 DynamicFilter
YOLOv8项目贡献者
10-31 857
即插即用篇 | YOLOv10 引入 动态滤波器 DynamicFilter
FFT-based Dynamic Token Mixer for Vision
qq_42208244的博客
03-11 2301
图像分割的
DFFormer实战：使用DFFormer实现图像分类
01-27
## 论文信息 **标题**: FFT-based Dynamic Token Mixer for Vision **论文链接**: https://arxiv.org/pdf/2303.03932 ## 创新点 本论文提出了一种新的令牌混合器，称为**动态滤波器（Dynamic Filter）**，旨在解决多头自注意力（MHSA）模型在处理高分辨率图像时的计算复杂度问题。传统的MHSA模型在输入特征图的像素数量增加时，其计算复杂度呈二次增长，导致处理速度缓慢。通过引入基于快速傅里叶变换（FFT）的动态滤波器，论文展示了在保持全局操作能力的同时，显著降低计算复杂度的可能性。 链接：https://wanghao.blog.csdn.net/article/details/145368717?spm=1001.2014.3001.5502
拿下一区idea！即插即用动态频域fft模块！准确率达100％！
2401_88190197的博客
11-24 656
它是一种基于快速傅里叶变换（FFT）的算法，能够实时或接近实时地将时域信号转换为频域信号，使模型能更容易地提取信号或图像中的频域特征！对提高模型性能、计算效率，减少内存占用等效果显著。且在音频处理、语音识别、图像处理等领域都有着广泛的应用！比如模型DF-RNN便在在医学图像处理任务中，实现了100％的准确率；而模型AFNO，则速度飙升了1000倍！此外，其还是即插即用的，能够轻松集成到现有的模型中，简单好上手！为了让大家能够深入理解该方法，落地到自己的文章中，实现高效涨点，我给大家准备了！
(即插即用模块-特征处理部分) 四、(2023) Dynamic Filter 动态滤波器
wei582636312的博客
12-13 967
论文首先指出现有的研究中存在的以下问题：MHSA的计算复杂度问题： 多头自注意力（MHSA）模块因其全局信息捕捉能力而广受欢迎。然而，MHSA的计算复杂度与输入特征图的像素数量平方成正比，导致处理高分辨率图像时速度缓慢。全局滤波器的优势： 全局滤波器通过在频域对特征图进行操作，可以降低计算复杂度，同时仍然能够捕捉全局信息。然而，传统的全局滤波器缺乏数据依赖性，导致其在一些任务上的表现不如MHSA。为此，这篇论文提出了一种新的令牌混合器称为 动态过滤器（Dynamic Filter） 和新的图像识别模型 DF
即插即用篇 | YOLOv8 引入选择性注意力 LSK 模块 | 《ICCV 2023 Large Selective Kernel Network》
YOLOv8项目贡献者
07-23 7256
ICCV 2023🏅顶会最新 YOLOv8 引入选择性注意力 LSK 模块
即插即用篇 | YOLOv8 引入空间通道重组卷积 | 《CVPR 2023 Spatial and Channel Reconstruction Convolution》
YOLOv8项目贡献者
07-24 5540
CVPR 2023🏅 空间通道重组卷积
即插即用篇 | YOLOv8 引入大感受野的小波卷积 | ECCV2024
YOLOv8项目贡献者
07-15 5221
即插即用篇 | YOLOv8 引入大感受野的小波卷积 | ECCV2024
即插即用篇 | YOLOv8 引入多光谱通道注意力 | 频率领域中的通道注意力网络
weixin_39818775的博客
06-03 918
本篇介绍 YOLOv8 如何引入多光谱通道注意力机制，以提升目标检测性能。该方法将注意力机制应用于频率域，并结合多光谱信息，在 COCO 数据集上取得了 60.8% 的 mAP 指标，显著优于基线模型。
YOLOv8详解 【网络结构+代码+实操】
热门推荐
zyw2002的博客
03-01 33万+
YOLOv8 算法的核心特性和改动可以归结为如下：提供了一个全新的 SOTA 模型，包括 P5 640 和 P6 1280 分辨率的目标检测网络和基于 YOLACT 的实例分割模型。和 YOLOv5 一样，基于缩放系数也提供了 N/S/M/L/X 尺度的不同大小模型，用于满足不同场景需求Backbone骨干网络和 Neck 部分可能参考了 YOLOv7 ELAN 设计思想，将 YOLOv5 的C3结构换成了梯度流更丰富的C2f结构，并对不同尺度模型调整了不同的通道数。
YOLOv8改进，YOLOv8结合DynamicConv（动态卷积），CVPR2024，二次创新C2f结构
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
11-15 713
DynamicConv（动态卷积）是一个用于提高卷积神经网络（CNN）性能的技术，核心思想是动态地生成卷积核（filter），而不是使用固定的卷积核。通过引入更多的计算灵活性和适应性来增强卷积操作的表达能力，进而提升模型的性能。专家选择：DynamicConv 通过引入多个“专家”（experts），每个专家学习特定的卷积模式。输入图像的不同部分会选择不同的专家进行卷积。动态卷积核生成：根据输入的不同特征，专家网络动态地生成卷积核，而不是使用固定的卷积核。
RDNet实战：使用RDNet实现图像分类任务（一）
AI浩
07-09 5525
论文提出的模型主要基于对传统DenseNet架构的改进和复兴，通过一系列创新设计，旨在提升模型性能并优化其计算效率，提出了RDNet模型。
动态滤波网络论文解读
Wenrui Xie的博客
02-03 3383
论文题目：Dynamic Filter Networks 论文链接：https://arxiv.org/pdf/1605.09673.pdf summary 在传统的卷积层中，经过训练后的学习滤波器保持不变。相反本篇论文引入了一种动态过滤器网络，根据输入动态生成，但是却没有过多地增加模型参数的数量。 动态滤波网络组成 总体框架如下图所示： 动态滤波网络由过滤生成网络和动态过滤层组...
计算机视觉——基于树莓派的YOLO11模型优化与实时目标检测、跟踪及计数的实践
最新发布
知来者逆的博客
05-01 1990
YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。
yolov5 源码 +jupyter notebook 笔记 kaggle
njsgcs的博客
04-28 513
直接用的githuab的源码，git clone 后output才有文件直接gitclone他的源码用Vscode看好久没见过16g了怎么这么便宜函数输入有一页。
计算机视觉进化论：YOLOv12、YOLOv11与Darknet系YOLOv7的微调实战对比
lgf228的专栏
04-29 1439
YOLO系列作为实时目标检测领域的重要里程碑，持续引领速度与精度的平衡发展。本文围绕YOLOv7（基于Darknet框架）、YOLOv11及YOLOv12，系统、深入地对比了三款模型的架构创新、微调策略、核心技术及应用场景。我们详细解析了三者骨干网络设计（如Darknet-53、E-ELAN、C3k2模块）、注意力机制（如YOLOv12的Area Attention）以及参数优化策略（动态数据增强、量化剪枝），并结合工业检测、医疗影像、自动驾驶等多样化应用展开实战案例。
基于YOLO的瓷砖缺陷检测系统设计与实现（附数据集+源码）
qq_36224726的博客
04-29 935
本文实现的系统展示了深度学习与传统工业检测结合的强大潜力。通过YOLO算法的高精度检测能力，配合精心设计的GUI界面，为制造业质量管控提供了可靠的技术工具。
基于OpenMV+STM32+OLED与YOLOv11+PaddleOCR的嵌入式车牌识别系统开发笔记
weixin_46221106的博客
04-26 2730
本文融入了实际开发中获得的宝贵经验，特别是针对嵌入式设备与云端协同AI系统的优化策略。主要是通过OpenMV端收集得到图像，通过wifi模块将数据传递给PyTorch进行数据处理，得到返回的数据后再OLED上进行显示，实物如下图所示。：在本地做智能预筛选（如车牌定位），云端执行复杂OCR，实现精度与延迟的最佳平衡。：通过C++扩展实现OpenMV的NEON指令加速，使图像预处理速度提升3倍。：采用向前兼容的二进制协议，通过version字段实现无缝升级。WebSocket推送结果。
yolov8引入动态感受野机制
01-06
### 实现动态感受野机制 为了在YOLOv8中引入和实现动态感受野机制，可以借鉴LSKNet的设计理念[^3]。具体来说，在构建模型配置文件时，需修改主干网络部分以支持动态调整的目标感受野。 #### 修改模型配置文件 假设使用的是`yolov8_C3RFEM.yaml`作为基础配置文件，则可以在该文件中的适当位置加入新的层定义： ```yaml backbone: ... - from: [-1,] module: LSKBlock args: [dynamic_receptive_field=True, ] ``` 这里通过设置参数`dynamic_receptive_field=True`来启用动态感受野功能。此操作允许每一层根据输入特征图自动调节其感知区域大小，从而更好地捕捉不同尺度下的物体信息。 #### 自定义模块开发 如果官方库未提供满足需求的组件，则可能需要自定义开发相应的PyTorch Module类。下面是一个简单的例子展示如何创建具有可变感受野特性的卷积块： ```python import torch.nn as nn class DynamicReceptiveFieldConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(DynamicReceptiveFieldConv, self).__init__() # 定义标准卷积层 self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=stride, padding=padding) # 添加额外分支用于计算局部加权系数 self.attention_branch = SKAttention(channel=out_channels, reduction=8) def forward(self, x): conv_out = self.conv(x) attention_weights = self.attention_branch(conv_out) weighted_output = conv_out * attention_weights return weighted_output ``` 上述代码片段展示了如何结合SKAttention模块与常规卷积操作一起工作，使得输出不仅取决于原始滤波器响应，还受到基于通道间关系得出的关注度影响[^2]。 完成这些更改之后，按照正常流程加载并训练新版本的YOLOv8模型即可： ```python from ultralytics import YOLO model = YOLO(r'/projects/ultralytics/ultralytics/cfg/models/v8/yolov8_custom_dynamic_rf.yaml') model.train(device=[3], batch=16) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迪菲赫尔曼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值