在红外图像去条纹领域,独立采样器常出现语义和结构信息丢失的情况。如离散小波变换(DWT)虽能对条纹噪声方向性建模,但仅局限于空间采样,缺乏通道间的交互;而步长卷积(SC)虽考虑了空间和语义特征,却忽略了噪声的方向先验。这些问题使得传统采样方法在特征表示上存在不足,难以满足精确去条纹的需求,因此需要一种新的采样方式来解决这些问题。
上面是原模型,下面是改进模型

1. 残差哈尔离散小波变换RHDWT 介绍
RHDWT 创新性地将模型驱动分支和残差分支相结合。模型驱动分支利用 Haar DWT(HDWT),融入条纹方向先验知识,对原始特征进行分解,把条纹噪声聚集到特定子带,为后续处理提供基础。残差分支则通过数据驱动的跨通道语义,补充模型驱动分支的信息,弥补其在语义交互上的不足。两者相加,能够更全面地描述图像特征,提升对条纹噪声的表征能力,有效克服了传统独立采样器的缺陷,为准确去除红外图像条纹噪声奠定了理论基础。
从提供的图片来看,RHDWT 模块主要包含以下几个部分:
RHDWT 由模型驱动分支和残差分支组成。输入特征先经 HDWT 分解为四个子图,将四个特征图其拼接后,经 3×3 卷积和 LeakyReLU 激活,得到模型驱动分支输出Imodelout ;残差分支则通过步长为 2 的 3×3 卷积聚合空间和语义特征,得到输出Iresout 。最终将两个分支输出相加,得到 RHDWT 的输出结果IR。
2. YOLOv11与残差哈尔离散小波变换RHDWT 的结合
用 RHDWT 替换 YOLOv11 Backbone 中的 Conv ,利用RHDWT 独特的双分支结构能结合条纹方向先验与跨通道语义信息,增强对复杂特征尤其是含条纹红外图像特征的提取能力,让模型对目标特征的理解更精准。同时,频域信息的加入,为模型提供了额外的特征维度。不同频率的信号可以反映图像的不同特性,低频部分可能包含图像的整体结构信息,高频部分则对应图像的细节特征,这些丰富的频域特征能帮助模型更全面地理解图像。
3. 残差哈尔离散小波变换RHDWT代码部分
视频讲解:
YOLOv8_improve/YOLOv11.md at master · tgf123/YOLOv8_improve · GitHubYOLOv11模型改进讲解,教您如何修改YOLOv11_哔哩哔哩_bilibili
YOLOv11全部代码,现有几十种改进机制。
4. 残差哈尔离散小波变换RHDWT引入到YOLOv11中
第一: 将下面的核心代码复制到D:\model\yolov11\ultralytics\change_model路径下,如下图所示。
第二:在task.py中导入包
第三:在task.py中的模型配置部分下面代码
第四:将模型配置文件复制到YOLOV11.YAMY文件中
第五:运行成功
from sympy import false
from ultralytics.models import NAS, RTDETR, SAM, YOLO, FastSAM, YOLOWorld
if __name__=="__main__":
# 使用自己的YOLOv8.yamy文件搭建模型并加载预训练权重训练模型
model = YOLO(r"E:\Part_time_job_orders\YOLO\YOLOv11\ultralytics\cfg\models\11\yolo11_RHDWT.yamy")\
.load(r'E:\Part_time_job_orders\YOLO\YOLOv11\yolo11n.pt') # build from YAML and transfer weights
results = model.train(data=r'E:\Part_time_job_orders\YOLO\YOLOv11\ultralytics\cfg\datasets\VOC_my.yaml',
epochs=300,
imgsz=640,
batch=64,
# cache = False,
# single_cls = False, # 是否是单类别检测
# workers = 0,
# resume=r'D:/model/yolov8/runs/detect/train/weights/last.pt',
amp = True
)