即插即用篇 | YOLOv8 引入Super Token Sampling ViT | 《CVPR 2023 最新论文》

最新推荐文章于 2025-10-09 13:34:44 发布
最新推荐文章于 2025-10-09 13:34:44 发布
阅读量3.5k 收藏 12
点赞数 10
CC 4.0 BY-SA版权
分类专栏： YOLOv8改进实战🚀 文章标签： YOLO 迪菲赫尔曼 人工智能 计算机视觉 深度学习
原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。
本文链接：https://blog.csdn.net/weixin_43694096/article/details/134275483
该博客介绍了如何在YOLOv8中整合Super Token Sampling Vision Transformer（STViT），以提高计算机视觉任务的性能。STViT通过超级标记注意力（STA）机制，实现了高效全局上下文建模，减少了自注意力中的标记数量。文章提供了详细的步骤，指导读者如何在检测、分割和关键点任务中应用这一技术，以及在分类任务上的应用。

在这里插入图片描述

在这里插入图片描述
论文地址：https://arxiv.org/abs/2211.11167
代码地址：https://github.com/hhb072/STViT

视觉变换器已经在许多视觉任务中取得了令人印象深刻的性能。然而，它在捕捉浅层的局部特征时可能会受到高度冗余的影响。因此，引入了局部自注意力或早期卷积，这些方法牺牲了捕捉长距离依赖性的能力。这引发了一个挑战：我们是否可以在神经网络的早期阶段实现高效且有效的全局上下文建模？为解决这个问题，我们从超像素的设计中汲取灵感，超像素可以减少后续处理中的图像基元数量，并将超级标记引入视觉变换器。超级标记试图提供视觉内容的语义有意义的分割，从而减少自注意中的标记数量，同时保留全局建模。具体而言，我们提出了一个简单而强大的超级标记注意力（STA）机制，包括三个步骤：首先通过稀疏关联学习从视觉标记中抽样超级标记，然后对超级标记执行自注意力，最后将它们映射回原始标

了解本专栏 订阅专栏 解锁全文
YOLOv8改进-bifpn
weixin_45303602的博客
08-06 7577
跨尺度连接通过添加一个跳跃连接和双向路径来实现，自此实现了加权融合和双向跨尺度连接。该结构是加权且双向连接的，即自顶向下和自底向上结构，通过构造双向通道实现跨尺度连接，将特征提取网络中的特征直接与自下而上路径中的相对大小特征融合，保留了更浅的语义信息，而不会丢失太多的深层语义信息。传统的特征融合时将尺度不同的特征图以相同权重进行加权，但是当输入的特征图分辨率不同时，以相同的权重进行加权对输出的特征图不平等。所以BiFPN根据不同输入特征的重要性设置不同的权重，同时反复采用这种结构来加强特征融合。
改进YOLO系列 | YOLOv5/v7 引入Super Token Sampling ViT | 《CVPR 2023 最新论文》
YOLOv8项目贡献者
11-12 1866
Super Token Sampling ViT
论文阅读-分割3-16-SVIT-超级标记Vision Transformer with Super Token Sampling
weixin_43899239的博客
12-04 1143
我们将超像素的设计应用到令牌空间中，并引入将相似令牌聚合在一起的超令牌。的设计中获得灵感，减少了后续处理中的图像基元的数量，并将超级标记引入视觉转换器中。这一步骤借鉴了超像素算法的设计，将图像像素空间中的超像素概念引入到标记空间中，形成超级标记。作为图像的过分割，超像素感知地将相似的像素分组在一起，减少了后续处理的图像基元的数量。我们从像素空间借用超像素的思想到标记空间，并假设超级标记作为视觉内容的紧凑表示。这一步骤通过学习到的关联将超级标记重新映射到原始标记空间，从而保留了全局建模的信息。
论文复现--关于yolov8在姿态估计方面的研究
Doggerlas的博客
08-21 1032
分类：动作捕捉 github地址：https://github.com/ultralytics/ultralytics
阅读论文《Vision Transformer with Super Token Sampling》
qq_52225090的博客
06-06 5097
这篇论文是CVPR2023的一篇论文，主要工作是对于Vision Transformer的自注意力机制进行了魔改。我感觉这篇文章或许对我的工作有帮助，因此，今天精读一下。（侵权删）（非常欢迎来argue，指正我的错误）
即插即用篇 | YOLOv8引入PSAModule | 高效金字塔压缩注意力模块
YOLOv8项目贡献者
05-11 3094
YOLOv8引入PSAModule | 高效金字塔压缩注意力模块
即插即用篇 | YOLOv8 引入 MogaBlock | 多阶门控聚合网络 | ICLR 2024
YOLOv8项目贡献者
10-23 793
即插即用篇 | YOLOv8 引入 MogaBlock | 多阶门控聚合网络 | ICLR 2024
即插即用篇 | YOLOv8 引入多光谱通道注意力 | 频率领域中的通道注意力网络
YOLOv8项目贡献者
05-11 3004
多光谱通道注意力
YoloV8改进策略：AAAI 2024 最新的轴向注意力| 即插即用，改进首选|全网首发，包含数据集和代码，开箱即用！
m0_47867638的博客
12-22 3895
本文提出了一种名为Multi-scale Cross-axis Attention（MCA）的方法，用于解决医学图像分割中的多尺度信息和长距离依赖性问题。该方法基于高效轴向注意力，通过计算两个平行轴向注意力之间的双向交叉注意力，更好地捕获全局信息。为了处理病变区域或器官的个体尺寸和形状的显著变化，我们还在每个轴向注意力路径中使用多个具有不同内核大小的条形卷积，以提高编码空间信息的效率。我们将提出的MCA构建在MSCAN主干上，形成名为MCANet的网络。
第6周学习笔记：Vision Transformer Swin Transformer
qq_45358370的博客
08-18 2477
一.Vision Transformer 1 模型架构 2. Hybrid模型 3. 模型代码学习 二 .Swin Transformer 1网络整体框架 2 Patch Merging 3 W-MSA（Windows Multi-head Self-Attention） 4 SW-MSA 5 相对位置偏执 三. ConvNeXt 1. Macro design 2. ResNeXt 3. Inverted Bottleneck 4. Large Kernel Sizes
YOLOv8代码上线，官方宣布将发布论文，附精度速度初探和对比总结
热门推荐
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
01-16 1万+
【YOLOv8 注意事项】 1.YOLOv8 的官方仓库和代码已上线，文档教程网址也刚刚更新。 2. YOLOv8 代码集成在ultralytics项目中，目前看不会再单独创建叫做 YOLOv8 的项目。 3.YOLOv8 即将有论文了！要知道 YOLOv5 自从 2020 年发布以来，一直是没有论文的。而 YOLOv8（YOLOv5团队）这次首次承认将先发布 arXiv 版本的论文（目前还在火速撰写中）。
YOLOv5改进系列(十八) 本文(1.2万字) | 引入STSViT |
专注于人工智能学习，总结
12-30 1040
这篇论文是CVPR2023的一篇论文，主要工作是对于Vision Transformer的自注意力机制进行了魔改。我感觉这篇文章或许对我的工作有帮助，因此，今天精读一下。论文下载地址：[在论文中，魔改前的机制似乎被叫做vanilla。
带有超令牌采样的视觉转换器
qq_43314576的博客
03-17 2106
本周主要阅读了CVPR文章，带有超令牌采样的视觉转换器。该论文提出了一个名为SViT的方法，这是一种基于Transformer的模型，SViT主要由以下几个关键组件构成：卷积位置嵌入（CPE）、卷积FFN（ConvFFN）及空间注意力（STA）模块，通过在Transformer中引入卷积层，使得模型能够更好地利用局部信息，同时保持了Transformer对全局信息的建模能力。除此之外，还学习学习了StokenAttention的注意力模块代码的学习。
CVPR 2023 论文和开源项目合集
datayx的文章
03-24 3466
向AI转型的程序员都关注了这个号????????????【CVPR 2023 论文开源目录】BackboneCLIPMAEGANGNNMLPNASOCRNeRFDETRDiffusion Models(扩散模型)AvatarsReID(重识别)长尾分布(Long-Tail)Vision Transformer视觉和语言(Vision-Language)自监督学习(Self-supervised Learning)数...
Qt 调用YOLO模型
轩宇的博客
10-09 31
本文介绍了如何在 Qt C++ 环境中集成 YOLO 模型进行目标检测，包括模型封装、界面设计和实时处理等关键步骤。通过这种方法，你可以快速开发出具有目标检测功能的 Qt 应用程序，应用于监控系统、机器人视觉、图像分析等多个领域。
【完整源码+数据集+部署教程】 水果叶片分割系统： yolov8-seg-dyhead
weixin_43860634的博客
10-07 630
【完整源码+数据集+部署教程】 水果叶片分割系统： yolov8-seg-dyhead
易拉罐缺陷识别数据集，支持yolo，coco json，pasical voc xml格式的标注。平均正确识别率可达98.9%
最新发布
网易搬砖头
10-09 897
易拉罐缺陷识别数据集，支持yolo，coco json，pasical voc xml格式的标注。平均正确识别率可达98.9%
Qualcomm SM8750/QCM6490 视觉-yolonas
sdrgtywretyeruet的专栏
10-08 170
功能Qualcomm® 神经处理 SDK 是一款 Qualcomm 骁龙软件加速的运行时，用于执行深度神经网络。借助 Qualcomm® 神经处理 SDK，用户可以：执行任意深度的神经网络在 Snapdragon CPU、Adreno GPU 或 Hexagon DSP 上执行网络。在 x86 Ubuntu Linux 上调试网络执行。
【完整源码+数据集+部署教程】 水道图像分割系统： yolov8-seg-EfficientHead
weixin_43860634的博客
10-07 1112
【完整源码+数据集+部署教程】 水道图像分割系统： yolov8-seg-EfficientHead
yolov8引入Dynamic
03-15
### 实现YOLOv8中的动态特性 YOLOv8 是一种先进的目标检测框架，支持多种配置选项以适应不同场景的需求。为了实现动态特性（dynamic features），可以考虑以下几个方面： #### 1. 动态输入尺寸 YOLOv8 支持动态调整输入图像的分辨率，这可以通过修改训练和推理阶段的相关参数来完成。例如，在 Ultralytics 的官方文档中提到，通过设置 `imgsz` 参数为不同的值，可以在运行时改变模型处理的图像大小[^5]。 ```python from ultralytics import YOLO model = YOLO('yolov8n.pt') # 加载预训练模型 results = model.predict(source='image.jpg', imgsz=640) # 设置动态输入尺寸为 640x640 ``` #### 2. 动态批量处理 在实际应用中，可能需要根据硬件资源的变化动态调整批处理大小（batch size）。YOLOv8 提供了灵活的 API 来控制这一点。例如，通过命令行工具或 Python 脚本指定 `--batch-size` 或者 `batch` 参数即可实现动态批量处理[^6]。 ```bash yolo train data=coco128.yaml model=yolov8n.pt epochs=100 batch=16 ``` #### 3. 集成外部动态库存管理 如果希望进一步扩展 YOLOv8 的功能，使其能够与动态环境交互，则可借鉴 Ansible 中关于 **Dynamic Inventory** 的设计理念[^1]。具体来说，可以通过编写自定义脚本来实时获取并更新数据源信息，从而让模型始终处于最新状态。 #### 4. 多模态融合增强 对于某些复杂任务而言，单纯依靠视觉信息可能不足以满足需求。此时可以尝试引入多模态学习技术，利用类似于 Transformer-based networks 的架构来进行跨模态特征提取与融合[^3]。以下是简化版代码示例： ```python import torch from transformers import BertModel class MultiModalFusion(torch.nn.Module): def __init__(self, text_encoder=BertModel.from_pretrained("bert-base-uncased")): super().__init__() self.text_encoder = text_encoder def forward(self, texts, images): text_features = self.text_encoder(texts).last_hidden_state[:, 0, :] # CLS token image_features = ... # 假设已存在图片编码逻辑 fused_representation = torch.cat([text_features, image_features], dim=-1) return fused_representation ``` #### 5. 容器化部署下的水平伸缩能力提升 当面对大规模分布式计算场景时，合理规划容器编排策略显得尤为重要。正如 Docker 文档所描述那样，借助诸如 Kubernetes 等高级工具可以帮助我们轻松达成这一目标[^4]。下面展示了一个简单的 docker-compose.yml 文件片段作为参考： ```yaml version: '3' services: yolov8-service: image: custom/yolov8-image:v1.0 deploy: replicas: 3 restart_policy: condition: on-failure ports: - "8080:80" environment: - IMG_SIZE=640 ``` ---
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值