【YOLOv11多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系

已于 2025-04-29 08:37:52 修改
阅读量208 收藏
点赞数 8
分类专栏： YOLO多模态融合改进 文章标签： YOLO 目标检测 计算机视觉 多模态
于 2025-04-29 08:37:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/147382448
版权

一、本文介绍

本文记录的是利用PSFM 模块改进 YOLOv11 的多模态融合部分。

PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与语义推理鲁棒性。

专栏目录：《多模态模型改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用

专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！

文章目录

了解本专栏 订阅专栏 解锁全文
【YOLOv12多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
Limiiiing的博客
04-29 405
本文记录的是利用PSFM 模块改进 YOLOv12 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
【YOLOv8多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
Limiiiing的博客
04-30 92
本文记录的是利用PSFM 模块改进 YOLOv12 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
【YOLOv10多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
Limiiiing的博客
04-30 22
本文记录的是利用PSFM 模块改进 YOLOv10 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
《多模态融合改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用
Limiiiing的博客
04-15 1584
在大家订阅专栏后，便可获得多模态模型改进完整项目包-开箱即用，方便简单
A practical infrared and visible image fusion network based on progressive ..._译文
qq_45913945的博客
01-08 652
图像融合旨在将源图像的互补特征集成到单个融合图像中，更好地服务于人类视觉观察和机器视觉感知。然而，大多数现有的图像融合算法主要侧重于提高融合图像的视觉吸引力。尽管有一些语义驱动的方法考虑了下游应用程序的语义需求，但与特征级融合相比，它们都没有展示出图像级融合的潜力，特征级融合直接在多模态特征上完成高级视觉任务，而不是在多模态特征上完成高级视觉任务。在融合图像上。为了克服这些限制，本文提出了一种基于渐进语义注入和场景保真度约束的实用红外和可见光图像融合网络，称为 PSFusion。
计算机视觉——基于树莓派的YOLO11模型优化与实时目标检测、跟踪及计数的实践
知来者逆的博客
05-01 2016
YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。
睡岗检测数据集VOC+YOLO格式1198张1类别
FL1623863129的博客
05-05 279
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：1198。标注数量(xml文件个数)：1198。标注数量(txt文件个数)：1198。标注类别名称:["sleep"]sleep 框数 = 1198。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
yolov11 epoch100轮 训练笔记5 kaggle comet
njsgcs的博客
05-05 227
然而comet接不到yolo的sdk。训练17轮map就0.99了。map在50轮后才稳定上升。v5训练100轮才0.6。100轮一眨眼训练完了。有了，就是训练轮次不够。
茶叶病害-目标检测数据集（包括VOC格式、YOLO格式）
DL_data_set的博客
05-05 306
茶叶病害检测，目标检测，yolo，voc
计算机视觉进化论：YOLOv12、YOLOv11与Darknet系YOLOv7的微调实战对比
lgf228的专栏
04-29 1444
YOLO系列作为实时目标检测领域的重要里程碑，持续引领速度与精度的平衡发展。本文围绕YOLOv7（基于Darknet框架）、YOLOv11及YOLOv12，系统、深入地对比了三款模型的架构创新、微调策略、核心技术及应用场景。我们详细解析了三者骨干网络设计（如Darknet-53、E-ELAN、C3k2模块）、注意力机制（如YOLOv12的Area Attention）以及参数优化策略（动态数据增强、量化剪枝），并结合工业检测、医疗影像、自动驾驶等多样化应用展开实战案例。
基于OpenMV+STM32+OLED与YOLOv11+PaddleOCR的嵌入式车牌识别系统开发笔记
weixin_46221106的博客
04-26 2741
本文融入了实际开发中获得的宝贵经验，特别是针对嵌入式设备与云端协同AI系统的优化策略。主要是通过OpenMV端收集得到图像，通过wifi模块将数据传递给PyTorch进行数据处理，得到返回的数据后再OLED上进行显示，实物如下图所示。：在本地做智能预筛选（如车牌定位），云端执行复杂OCR，实现精度与延迟的最佳平衡。：通过C++扩展实现OpenMV的NEON指令加速，使图像预处理速度提升3倍。：采用向前兼容的二进制协议，通过version字段实现无缝升级。WebSocket推送结果。
YOLOv8模型训练过程
Tianwen_running的博客
05-01 330
yolov8快速训练自己的数据集，只介绍重点步骤
偷钱包行为检测数据集VOC+YOLO格式922张1类别有增强
最新发布
FL1623863129的博客
05-05 184
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。有320张图片是原图剩余为增强图片。图片数量(jpg文件个数)：922。标注数量(xml文件个数)：922。标注数量(txt文件个数)：922。标注类别名称:["pick"]使用标注工具：labelImg。标注规则：对类别进行画矩形框。pick 框数 = 925。
YOLOv8模型训练参数调优指南
Do my best!
04-30 526
YOLOv8作为当前最先进的实时目标检测模型，其训练参数可分为三大类：1.1 模型架构参数 ：控制网络深度和宽度的缩放因子1.2 训练超参数 ：学习率、批大小等优化相关参数1.3 数据增强参数 ：影响输入数据多样性的变换参数。
ubantu部署yolov5（第四集：模型加速）
qq_62737390的博客
04-30 590
recipe_type 这个是稀疏化的配置直接从官网下，weights这个稀疏化权重也是直接从官网下，你只需要把--data改成自己的数据集的配置文件就可以了。如果太卡，还要改--batchsize。经过我的测试onnx和openvino是最快的。模型导出后，将onnx的路径加到上述二的脚本文件里面，直接运行。但是确实效率没提升多少，onnx的规模确实是下降了。文档上介绍效率很高，但是我实际使用感觉除了模型变小了一点，其他没有什么太大区别。将model_path替换为自己的onnx模型所在的位置。
LabelVision - yolo可视化标注工具
RitMan的博客
04-30 384
用户可以选择需要标注的图片文件，使用工具栏中的标注工具（如多边形、矩形等）进行标注，绘制完成后按回车键确认，并保存或导出标注结果。支持多边形、矩形、圆形等多种标注方式，并且可以输出JSON、COCO等多种数据格式，方便与其他软件和框架进行集成和互操作。点与线条:支持关键点标注,以及点与点之间进行连线,自动记忆连线规则,一次连线便会自动对符合规则的关键点进行连线。具有半自动化标注功能,可以用您自己的视觉模型进行推理并自动标注,方便实现一边标注一边训练的任务。
YOLO旋转目标检测之ONNX模型推理
pengxiang1998的博客
05-02 403
YOLO旋转检测相较于目标检测而言，其只是最后的输出层网络发生了改变，一个最明显的区别便是：目标检测的检测框是xywh，而旋转检测则为xywha，其中，这个a代表angle，即旋转角度，其余的基本相同。
ubantu部署yolov5（第三集：训练自己的数据）
qq_62737390的博客
04-30 677
配置文件的路径是：/home/yzh/yolo_v5/yolov5/data/my_dataset_17.yaml，my_dataset_17.yaml是你自己新建的配置文件的名称。一次标注完成后，会在一个目录下生成标签文件和一个class.txt文件，如果想要第二次标注直接加载上一次标注的信息，那么选择。训练完成后，训练的结果保存在/home/yzh/yolo_v5/yolov5/runs/train，包括权重和一些评价指标。--weight：预训练权重的位置，这个写上去就算没有他应该会自己下。
无人机航拍牛羊检测数据集VOC+YOLO格式1021张3类别小目标
FL1623863129的博客
04-29 499
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["cattle","cow","sheep"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：1021。标注数量(xml文件个数)：1021。标注数量(txt文件个数)：1021。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值