yolov8（Ultralytics系列）多模态融合（可见光与红外光）目标检测与分割检测

已于 2025-05-23 20:45:22 修改
阅读量2.8k 收藏 44
点赞数 31
文章标签： yolov8 yolo ai 目标检测
于 2024-12-02 16:45:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_34487688/article/details/144188629
版权

yolov8（Ultralytics系列）多模态融合（可见光与红外光）目标检测与分割检测

文章免费

注意：此内容非针对初学者，要求具备一定的知识基础。

前言

​ 随着感知技术的快速发展，多模态融合感知在自动驾驶、安防检测、病理诊断、情感分析等多方面表现出了非常重要的地位。利用不同数据类型的互补优势，多模态数据融合为各个领域实现了高效感知。

在这里插入图片描述

  1. 可见光图像：具有丰富的色彩和纹理细节，但容易受到光照的影响；

  2. 红外图像：不受光照、大雾、大雪等恶劣条件影响，能够高亮显示人和动物，但不具备色彩信息；

  3. LiDRA 点云：提供了精确的深度信息，但成本高，点云数据稀疏；

  4. 解剖形态结构影像（CT、MRI）以较高的空间分辨率提供了清晰的解剖结构信息，但其不能提供功能、代谢信息；

  5. 功能图像（SPECT、PET）分辨率较差，难以得到精确的解剖结构和定位信息，但它能反映脏器的功能、代谢信息；

​ 每个模态的数据有着各自独特的优缺点，利用多个模态的数据进行信息互补，对于AI任务来说涨点非常明显！

多模态感知具有无限可能！
在这里插入图片描述

多模态融合方式介绍

​ 目前，多模态数据融合主要有三种融合方式：前端融合(early-fusion)或数据水平融合(data-level fusion)、后端融合(late-fusion)或决策水平融合(decision-level fusion)和中间融合(intermediate-fusion)。

​ 前端融合将多个独立的数据集融合成一个单一的特征向量，然后输入到机器学习分类器中。由于多模态数据的前端融合往往无法充分利用多个模态数据间的互补性，且前端融合的原始数据通常包含大量的冗余信息。因此，多模态前端融合方法常常与特征提取方法相结合以剔除冗余信息，如主成分分析（PCA）、最大相关最小冗余算法（mRMR）、自动解码器（Autoencoders）等。

​ 后端融合则是将不同模态数据分别训练好的分类器输出打分(决策)进行融合。这样做的好处是，融合模型的错误来自不同的分类器，而来自不同分类器的错误往往互不相关、互不影响，不会造成错误的进一步累加。常见的后端融合方式包括最大值融合(max-fusion)、平均值融合(averaged-fusion)、 贝叶斯规则融合(Bayes’rule based)以及集成学习(ensemble learning)等。其中集成学习作为后端融合方式的典型代表，被广泛应用于通信、计算机识别、语音识别等研究领域。

​ 中间融合是指将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合。以神经网络为例，中间融合首先利用神经网络将原始数据转化成高维 特征表达，然后获取不同模态数据在高维空间上的共性。中间融合方法的一大优势是可以灵活的选择融合的位置。

视频效果

yolov8（Ultralytics系列）多模态融合（可见光与红外光）目标检测与分割检测

模型训练

本项目采用了中间融合的方式

定义数据

数据集结构
|--data  # 数据根目录
	|--train  # 训练数据（RGB图片与labels）
		|--images  # RGB图片
		|--labels  # 标注信息
	|--train_multi_channel  # 训练数据（红外图片）
		|--images  # 红外图片
	|--val  # 验证数据（RGB图片与labels）
		|--images  # RGB图片
		|--labels  # 标注信息
	|--val_multi_channel  # 验证数据（红外图片）
		|--images  # 红外图片
	|--test  # 测试数据（RGB图片）
		|--images  # RGB图片
	|--test_multi_channel  # 测试数据（红外图片）
		|--images  # 红外图片

如下图所示，分别定义红外光与可见光的数据，images文件夹下存放图像 labels图像存放标注结果(.txt)

在这里插入图片描述

定义数据配置文件data.yaml

在这里插入图片描述

运行方法

官网相关运行方式

相关代码并未修改，都可使用

项目新增的统一入口方式

根据个人习惯新增项目统一入口

run_main.py 里面的 train方法
在这里插入图片描述

运行效果

在这里插入图片描述

关键参数

关键参数详解：

cfg:填写网络结构的yaml文件路径

data: 填写定义数据集的yaml文件路径

epoch: 模型每轮训练的批次，增加轮数有助于提升模型性能,但同时也会增加训练时间

batch-size: 模型每轮训练的批次，可根据实际显存大小进行调整

workers: 设置数据加载进程数，一般根据cpu核心数量设置；linux、windows都可，windows系统无需设置为0

注意

  1. 通道数变更的影响：由于通道数的变化，直接使用预训练模型将不再适用，而需要采取特殊处理措施。
  2. 代码版本限制：当前代码为迁移简化版，不支持自定义通道数设置，仅能处理6通道数据（即包含两组3通道数据）。
  3. 任务针对性：本代码专为目标检测任务（detect）进行了修改，兼容分割segment、姿态pose、方向obb。分类任务无法直接运行。
  4. 训练示例：训练示例图片不是选择RGB三个通道展示
  5. 定制需求：如有对上述优化点的特定需求，欢迎联系本人进行定制修改。
  6. 性能考量：由于采用了多通道数据处理，内存消耗和图片加载时间均有所增加。建议在训练初期先运行几个Epoch，根据实际效果调整参数设置。

模型验证

训练结束后会在最后一轮输出模型的完整指标，但如果想要单独评估一下模型，可以通过如下命令来进行

运行方法

官网相关运行方式

相关代码并未修改，都可使用

项目新增的统一入口方式

根据个人习惯新增项目统一入口

run_main.py 里面的 val方法

关键参数

关键参数详解：

weights: 填写想要评估模型的路径

batch-size: 用于评估的批次，一般是训练时的2倍，可根据实际显存大小进行调整

iou-thres: nms阈值，设置的越小保存的目标框越精确，同理目标数量会减小，可根据实际需求进行调整

conf-thres: 置信度阈值，设置的越大保存的目标框越精确，同理目标数量会减小，评估阶段是默认设置为0.001，可根据实际需求进行调整

模型推理

运行方法

官网相关运行方式

相关代码并未修改，都可使用

项目新增的统一入口方式

根据个人习惯新增项目统一入口

run_main.py 里面的 predict方法

关键参数

关键参数详解：

weights: 指定用于推理的模型路径，可通过更改此路径来加载不同的权重文件

在这里插入图片描述

运行效果

在这里插入图片描述
在这里插入图片描述

其他

完整代码
https://mall.bilibili.com/neul-next/detailuniversal/detail.html?isMerchant=1&page=detailuniversal_detail&saleType=10&itemsId=12077218&loadingShow=1&noTitleBar=1&msource=merchant_share
数据集
https://mall.bilibili.com/neul-next/detailuniversal/detail.html?isMerchant=1&page=detailuniversal_detail&saleType=10&itemsId=12077217&loadingShow=1&noTitleBar=1&msource=merchant_share

目标检测YOLO实战应用案例100讲-基于双模特征融合的目标检测
qq_36130719的博客
12-31 1655
近年来，随着人工智能（Artificial Intelligence,AI）逐渐成为时代趋势，计算机视觉 （Computer Vision,CV）作为其中的一种重要前沿技术，受到了研究者们广泛的关注。使用计算机达到人类那样“看”的技术，不仅在很多行业的应用场景中大放异彩，在生 产和生活中也得到了大规模的应用。通过摄像机或成像仪捕获现实世界的图片或视频帧 信息，计算机通过算法提取出高级语义信息，以此辅助人完成一些高级任务。下面介绍几种计算机视觉包括的基本任务，具体如图1.1所示。
YOLOv10改进 | 特征融合改进篇 | YOLOv10引入PSFM高频与低频特征融合模块（全网独家创新）
qq_45972324的博客
09-07 650
1.图像融合旨在将源图像的互补特性整合到单个融合图像中，以更好地服务于人类视觉观察和机器视觉感知。然而，现有的大多数图像融合算法主要侧重于提高融合图像的视觉吸引力。本文介绍了一种名为PSFM 的新型红外和可见光图像融合网络。2.PSFM 利用渐进语义注入和场景保真度约束来优化融合图像，提升其对高级视觉任务的适用性。稀疏语义感知分支和语义注入模块确保融合特征满足高级视觉任务需求，而场景恢复分支中的场景保真度路径确保融合图像包含源图像的完整信息。3.对比实验表明，PSFM 在视觉效果和高级语义方面效果好。
多模态YOLOv8 融合可见光+红外光(RGB+IR)双输入【附代码】
Dora_blank的博客
08-23 1万+
最近看不少朋友提到双模态YOLO(RGB+IR)这个方向，感觉挺有意思的，就自己用YOLOv8实现了一下，并用FLIR数据集跑了个模型，效果还不错，精度大概在78左右，后面打算再做一下双模态的v7/v9/v10或是用v8结合transformer之类的看看效果，大家有什么好的想法也可以在评论区告诉我~ 本文将详细讲解双模态YOLOv8的训练、验证和推理流程。内容涵盖数据结构的定义、代码运行方法以及关键参数的含义。
CAAI2024算法挑战赛——无人机视角下的可见光-红外光双光目标检测
shineber的博客
06-18 3636
本文提供了CAAI2024的算法挑战赛其中一个赛道——无人机视角下的可见光-红外光双光目标检测的思路，效果虽然没有达到SOTA，但是希望能够给大家带来一定的思考，欢迎大家一起交流。
YOLO多模态融合目标检测实战
最新发布
shejizuopin的博客
04-19 997
YOLO算法是一种基于深度学习的实时目标检测算法，其核心思想是将目标检测视为回归问题，通过端到端的方式直接输出目标的位置和类别。YOLO系列算法已经发展到了YOLOv8，其在精度和速度上都取得了显著的进步。本文介绍了YOLO多模态融合目标检测的实战指南，包括数据集准备、模型选择与配置、特征融合策略、训练与评估以及实战技巧与注意事项。通过代码和表格示例的深入分析，帮助读者更好地理解和掌握YOLO多模态融合目标检测的核心知识和技能。
详解多模态（红外-可见光图像）目标检测模型SuperYOLO源码，真正搞清代码逻辑！
弗兰-随风小欢的博客
01-09 2732
详解多模态（红外-可见光图像）目标检测模型SuperYOLO源码，真正搞清代码逻辑！
【YOLO 项目实战】（12）红外/可见光多模态目标检测
youcans的博客
12-31 3333
红外/可见光目标检测数据集包含可见光（RGB）图像和红外（IR）图像两个模态。 本文讨论前端融合，将可见光图像和红外图像进行通道的合并（Marge），得到 6通道的图像（特征向量），送入 YOLOv8 模型进行训练。
自学笔记：YOLOv8双模态（红外可见光）小目标检测
2301_79275341的博客
11-13 1671
这里要注意的就是，这个数据集原本是有一个100*100的白色边框的，我是用脚本进行除去了，然后就是需要把label重新修改一下，也是用脚本，这样可以复合去除边框后的数据集的标签。M3DF数据集，符合远景小目标条件，后续可以考虑做数据增强。已经完成了创新点的设计，正在跑实验，验证有效性。DroneVehicle数据集效果。DroneVehicle数据集。
多模态融合方式
金石软件
12-13 2203
在早期融合中，我们会在模型的前期阶段将不同模态（如图像和文本）的特征进行融合。通常这种方式涉及对各个模态的特征进行提取，然后将它们组合成一个统一的特征向量，再交给神经网络进行进一步的处理。晚期融合方法通过独立处理每种模态（图像和文本）并在最后融合它们的预测结果，能够在保持模态独立性的同时提高模型的多模态处理能力。PyTorch代码示例展示了如何实现一个简单的图像和文本的晚期融合模型，其中使用了加权平均来进行最终的决策融合。3.混合融合（Hybrid Fusion）
多模态的几种融合方法
rosinante
10-24 4万+
目前，多模态数据融合主要有三种融合方式：前端融合(early-fusion)或数据水平融合(data-level fusion)、后端融合(late-fusion)或决策水平融合(decision-level fusion)和中间融合(intermediate-fusion)。 前端融合将多个独立的数据集融合成一个单一的特征向量，然后输入到机器学习分类器中。由于多模态数据的前端融合往往无法充分利...
多模态特征融合方法总结
热门推荐
华辰烟雨的博客
06-20 8万+
由于本人的研究是文本、语音和图像三者模态数据的融合，所以针对的是这三种模态的特征融合方法进行总结。 首先，多模态特征融合的方法大体分为三种
基于YOLOv8深度学习的智慧安防行人红外图像目标检测系统(PyQt5界面+数据集+训练代码)
ZSW1218的博客
11-16 1440
随着智慧安防技术的不断发展，行人目标检测在复杂环境中的准确性与实时性需求日益增加。针对传统检测方法在低光照、复杂背景等情况下检测性能不足的问题，本文提出了一种基于YOLOv8深度学习模型的行人红外图像目标检测系统。该系统通过对红外图像的预处理，结合YOLOv8模型的高效检测能力，实现了对红外图像中行人目标的精确定位与识别。实验表明，该系统在低光照、遮挡以及多目标情况下依然表现出较高的检测精度和实时性，适用于智慧社区、智能交通、军事安保等场景。本文的研究为基于深度学习的红外目标检测提供了一种高效解决方案，对智
通过轻量级图像增强Transformer (IAT) 提升YOLOv8在低光环境下的检测性能
步入烟尘的博客
01-23 843
随着深度学习和计算机视觉的快速发展，目标检测模型在各个领域中的应用不断扩展，特别是在低照度环境下的视觉任务。YOLOv8作为当前最先进的目标检测模型之一，在高亮度和良好照明条件下表现出色，但在低照度环境下的性能存在一定的不足。为了解决这一问题，我们提出了一种轻量级的低照度图像增强网络（IAT）来改进YOLOv8的暗光检测能力。本篇文章将深入探讨这一创新改进，并附带代码实现，帮助大家更好地理解这一技术的应用和效果。
目标检测YOLO实战应用案例100讲-基于深度学习的红外目标检测研究与应用
qq_36130719的博客
06-10 1718
计算机视觉是一门赋予机器视觉能力的科学。通过外围设备获得图像作为输入，以对环境信息的表达和理解为目标，模拟人类视觉系统对图像中的目标信息进行识别，进而对事件进行推断预测，给予解释的科学[1]。近年来，随着计算机视觉快速发展，目标检测作为计算机视觉领域的基础核心任务之一，为关键点检测、语义分割、目标跟踪等方向提供重要基础支撑。在目标检测领域，可见光图像在成像的过程中容易受到光照环境的影响，在光照不足或者有强光干扰的情况下，图像成像质量急剧下降，容易产生错检或者。
【多模态目标检测】M2FNet：基于可见光与热红外图像的多模态融合目标检测网络
weixin_44184852的博客
03-05 3441
融合可见光（VIS）和热红外（TIR）图像的多模态信息对于在完全适应不同光照条件下的目标检测至关重要。然而，由于缺乏同时标注VIS和TIR配准图像的训练数据，现有模型通常将VIS和TIR图像视为独立信息，并通过单独的网络提取相应特征。为了填补这一空白，本文提出了一种基于Transformer架构的新型多模态融合网络（M2FNet），其中包含两个有效模块：联合模态注意力（UMA）和跨模态注意力（CMA）。UMA模块聚合了来自VIS和TIR图像的多光谱特征，然后通过卷积神经网络（CNN）骨干网络提取多模态特征。
YOLOv12多模态(可见光+红外光，基于Ultralytics官方代码实现，可魔改网络)
Dneccc的博客
01-26 1万+
多模态，YOLOv11，可见光+红外光
yolov11双模态目标检测精度不如yolov5
02-10
### 比较YOLOv11和YOLOv5在双模态目标检测中的精度 对于双模态目标检测任务而言，模型架构的设计以及其鲁棒性和泛化能力至关重要。YOLO系列算法经历了多个版本的发展，在不同方面进行了优化。 #### YOLOv5的特点 YOLOv5引入了一系列改进措施来提升性能，包括但不限于更有效的特征提取机制、更好的数据增强策略以及更加精细的损失函数设计[^1]。这些特性有助于提高模型对复杂场景的理解能力和适应性。 #### YOLOv11的特点 尽管具体细节可能因官方文档未完全公开而有所保留，但从已知信息来看，YOLOv11进一步增强了网络结构，并采用了分布稳健优化方法以改善模型训练过程中的稳定性和最终效果。然而，这并不意味着YOLOv11必然会在所有应用场景下都优于前代产品；实际表现取决于特定任务需求及实现方式等因素的影响。 #### 双模态目标检测下的精度差异分析 当应用于双模态目标检测时，如果发现YOLOv11相比YOLOv5存在较低的表现，则可能是由于以下几个因素造成的： - **多源数据融合效率**：处理来自不同类型传感器的数据并将其有效结合起来是一个挑战。即使是最先进的单目视觉识别技术也可能难以直接迁移至跨域感知环境中。 - **领域自适应能力不足**：即便是在同一类物体上训练良好的模型也可能会因为测试集与训练集中样本分布的不同而导致预测偏差增大。因此，缺乏足够的针对新环境调整参数的能力会影响整体准确性。 为了提高YOLOv11在此类任务上的精度，可以考虑采取如下几种手段之一或组合应用： - 实施更强力的数据预处理流程，确保输入到神经网络之前已经尽可能消除噪声干扰； - 利用迁移学习原理预先在一个大规模通用图像库上完成初步权重初始化后再转训专有类别； - 探索新的正则项加入损失计算环节从而促使解空间向更具代表性的方向收敛。 ```python import torch.nn as nn class CustomLoss(nn.Module): def __init__(self, base_loss_fn=nn.CrossEntropyLoss()): super(CustomLoss, self).__init__() self.base_loss = base_loss_fn def forward(self, output, target): # 基础损失加上额外的正则项 loss = self.base_loss(output, target) + custom_regularization_term() return loss ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值