YOLOv10改进 | 特征融合改进篇 | YOLOv10引入PSFM高频与低频特征融合模块（全网独家创新）

已于 2024-11-17 20:43:37 修改
阅读量646 收藏 4
点赞数 2
分类专栏： YOLOv8v10 创新改进+前往b站关注AI缝合怪订阅 YOLOv8 创新改进+前往b站关注:AI缝合怪订阅 文章标签： YOLO 深度学习 计算机视觉 人工智能 目标检测 YOLOv8 YOLOv10
于 2024-09-07 00:01:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45972324/article/details/141955199
版权
了解本专栏 订阅专栏 解锁全文
【YOLOv12多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
Limiiiing的博客
04-29 437
本文记录的是利用PSFM 模块改进 YOLOv12 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
【YOLOv10多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
最新发布
Limiiiing的博客
04-30 56
本文记录的是利用PSFM 模块改进 YOLOv10 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
多尺度特征融合
whaosoft143ai的博客
10-12 1万+
最后，使用研究者提出的多尺度特征融合模块融合相邻层中的特征图，这进一步减少了不同特征通道层之间的语义差距。然而，由于不同尺度的特征图之间的语义差距，他们取得的改进非常有限。首先，采用预训练的dilated ResNet-101作为主干来提取视觉特征，还在最后两个ResNet-101块中用空洞卷积替换下采样操作，因此最终特征图的大小是输入图像的1/8。总之，研究者利用矩阵乘法来测量来自不同层的特征图中像素的相关性，将来自较低特征图的详细信息整合到最终输出中，从而提高了坑洞边界的语义分割性能。
图像融合论文速读：(PSFusion)一种实用的基于渐进式语义注入和场景保真度的IVIF网络
图像强的博客
04-10 5708
图像级融合在高级视觉任务中的潜力更大，特别是在大规模模型时代。特别是随着单模态语义分割技术的快速发展，语义驱动的图像级融合可以充分融合多模态数据和SOTA单模态分割技术的优势，无需重新设计，从而更好地应对复杂场景。
【论文阅读】PSFusion：Rethinking the necessity of image fusion in high-level vision tasks
Prettybritany的博客
06-10 2039
场景恢复分支旨在重建红外图像̂Iir和可见光图像̂Ivi，以及合成融合图像If；稀疏语义感知分支负责预测边界分割结果Ibd、语义分割结果Ise和二值分割结果Ibi。为了在语义感知分支和场景恢复分支之间轻松注入语义特征，我们期望共享这两个分支之间的特征提取网络。然而，场景恢复分支需要保持高分辨率特征以保留细节，而高级视觉任务需要降采样来提取足够的语义特征并捕捉整体结构。这两个要求之间的矛盾阻碍了我们使用现有的骨干作为特征提取网络。
渐进式语义注入和场景保真度的图像融合
m0_74368738的博客
10-16 214
传统方法：拉普拉斯金字塔、离散小波、非下采样contourlet变换、潜在低秩表示、稀疏表示、主成分分析和非负矩阵分解。浅层特征包含丰富的细节和结构信息（提出基于通道空间注意机制的浅层细节融合模块SDFM）提出：在特征层将语义感知任务中涉及的语义特征明确地注入融合网络。深度学习方法：预训练框架和端到端的融合框架。场景恢复分支：场景保真度路径和图像融合路径。基于交叉注意的深刻语义融合模块PSFM。
YOLOV8V10改进系列指南
热门推荐
qq_37706472的博客
02-19 10万+
YOLOV8V10改进系列指南，仅仅69.9包含YOLOV8、YOLOV10的两个主流模型改进方案、含有270+种改进的集合，且含有多种二次创新和原创改进！
YOLOv8v10有效涨点改进专栏目录 | 本专栏持续更新300+篇内容 | 包含各种卷积、主干网络、各种注意力机制、检测头、损失函数、二次创新模块、独家创新等几百种创新点改进
qq_45972324的博客
09-10 1253
YOLOv8v10新改进有效涨点专栏！本专栏会持续更新300+创新改进点，目前限时特价99.9，仅限前66名，之后恢复原价！大家尽早关注有效涨点专栏，带着大家快速高效发论文！如果大家觉得本文能帮助到你了，订阅本专栏，关注后续更多的更新~同时有交流群方便大家有不懂的可以随时进行沟通交流及答疑。
【YOLOv11多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
Limiiiing的博客
04-29 252
本文记录的是利用PSFM 模块改进 YOLOv12 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
【YOLOv8多模态融合改进】| PSFM，深层语义融合模块 引入跨模态交叉注意力机制，动态建模不同模态特征的全局语义依赖关系
Limiiiing的博客
04-30 138
本文记录的是利用PSFM 模块改进 YOLOv12 的多模态融合部分。PSFM模块（Profound Semantic Fusion Module，深层语义融合模块） 通过在特征提取网络的深层引入跨模态交叉注意力机制，动态建模红外与可见光特征的全局语义依赖关系。该模块以可见光语义为引导、红外热信号为补充，通过双向注意力计算实现“语义类别”与“热目标位置”的精准对齐，同时捕捉长距离语义关联，增强融合特征的判别性与场景理解能力，为检测头提供包含全局上下文的高层语义表示，从而提升模型在复杂场景下的目标检测准确率与
hhblits、pssm、psfm
weixin_63016274的博客
02-16 797
hhblits、pssm、psfm
蛋白质的数据预处理个人笔记（2）
qq_45864291的博客
10-24 1989
两个蛋白质的两个残基之间的欧几里德距离小于等于。
RTDETR融合[AAAI2025]的Mesorch 模型中的高、低频特征提取模块
深度学习炼丹师，偶尔分享炼丹技术!
02-12 1156
论文速览：介观层面是宏观世界和微观世界之间的桥梁，解决了两者忽视的差距。图像处理定位 （IML） 是从假图像中寻找真相的关键技术，长期以来一直依赖于低级（微观级）跟踪。然而，在实践中，大多数篡改旨在通过改变图像语义来欺骗观众。因此，作通常发生在对象级别（宏观级别），这与微观跟踪同样重要。因此，将这两个水平整合到介观水平上为 IML 研究提供了新的视角。受此启发，我们的论文探讨了如何同时为 IML 构建微观和宏观信息的介观表示，并介绍了 Mesorch 架构来协调两者。
YOLOv11融合[AAAI2025]的Mesorch 模型中的高、低频特征提取模块
深度学习炼丹师，偶尔分享炼丹技术!
02-12 1154
论文速览：介观层面是宏观世界和微观世界之间的桥梁，解决了两者忽视的差距。图像处理定位 （IML） 是从假图像中寻找真相的关键技术，长期以来一直依赖于低级（微观级）跟踪。然而，在实践中，大多数篡改旨在通过改变图像语义来欺骗观众。因此，作通常发生在对象级别（宏观级别），这与微观跟踪同样重要。因此，将这两个水平整合到介观水平上为 IML 研究提供了新的视角。受此启发，我们的论文探讨了如何同时为 IML 构建微观和宏观信息的介观表示，并介绍了 Mesorch 架构来协调两者。
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
qq_37706472的博客
01-28 2万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有230+个改进点！
实时频谱分析仪执行自定义校准教程
hongke_weixin的博客
02-10 1822
  ThinkRF R5500实时频谱分析仪允许终端用户在设备上加载自定义校准文件，以优化设备，减少设备之间的差异或增强对终端用户应用而言最重要的参数。校准文件用于对各种无线电设置和物理参数映射参考电平，如频率，温度和衰减器的插入损耗。   本应用指南提供一个循序渐进的校准流程，以供终端用户进行校准。 1 简介   ThinkRF R5500提供了内置功能，允许终端用户在RTSA设备上加载自定义校准文件。校准文件用于对各种无线电参数设置和物理参数映射参考电平，如频率，温度和衰减器的插入损耗。自定义校准文件
YOLOv11改进策略【Neck】| PRCV 2023，SBA（Selective Boundary Aggregation）：特征融合模块，描绘物体轮廓重新校准物体位置，解决边界模糊问题
Limiiiing的博客
01-05 766
SBA 模块在医疗图像分割中具有重要作用，其设计出发点是解决图像中物体边界模糊以及融合特征时的冗余和不一致问题。
【计算机视觉】特征融合12种经典魔改方法汇总，附配套模型和代码
wzk4869的博客
12-02 1万+
【计算机视觉】特征融合12种经典魔改方法汇总，附配套模型和代码
IEEE ICIP 2019 | 更快更好的联邦学习：一种特征融合方法
KI的博客
11-24 1万+
IEEE ICIP 2019 | 更快更好的联邦学习：一种特征融合方法。
UMF-CMGR改进
02-26
### UMF-CMGR 的改进方法与建议 #### 替代模块的选择 为了提升UMF-CMGR的效果，可以考虑引入更先进的替代模块。例如，在现有框架中用表面细节融合模块替换了深度语义融合模块(PSFM)，实验结果显示这种替换能够有效验证新模块在聚合语义特征方面的能力[^2]。 #### 跨模态图像配准优化 针对跨模态图像配准问题，采用神经网络的传统匹配方法已经被证明可行。这些有监督的方法能以端到端的方式处理复杂情况，从而可能提高UMF-CMGR的整体表现[^1]。 #### 强化学习的应用 除了上述技术外，还可以探索强化学习算法的应用可能性。通过让模型自主学习最佳参数配置，进一步增强系统的自适应性和鲁棒性。 #### 数据集扩充策略 增加训练数据量特别是高质量标注样本的数量有助于改善模型泛化能力。可以通过合成更多样化的输入案例或者利用迁移学习等方式实现这一点。 ```python def enhance_umf_cmgr(model, dataset): """ 提升UMF-CMGR性能的函数 参数: model (object): 当前使用的UMF-CMGR实例对象 dataset (list): 训练所用的数据集合 返回值: object: 经过优化后的UMF-CMGR实例对象 """ # 应用新的融合模块代替原有组件 new_module = SurfaceDetailFusionModule() enhanced_model = replace_module(model=model, old='psfm', new=new_module) # 使用更大规模且多样性的数据集进行再训练 augmented_dataset = augment_data(original=dataset) retrained_model = train_with_more_data(model=enhanced_model, data=augmented_dataset) return retrained_model ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值