YOLOv8结合CVPR2024最新图像增强算法！让你的模型无惧风雨【含端到端推理脚本】

迪菲赫尔曼

已于 2024-04-17 20:45:57 修改

阅读量2.2k

点赞数 30

文章标签： YOLO YOLOv8 算法联调图像增强去雨

于 2024-04-17 20:44:35 首次发布

原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。

本文链接：https://blog.csdn.net/weixin_43694096/article/details/137887037

版权

篇博客的算法来自于CVPR2024，代码刚刚开源没几天~

原图	去雨	去雨+检测

如何有效地探索雨痕的多尺度表示对于图像去雨是很重要的。与现有的基于Transformer的方法相比，这些方法主要依赖于单一尺度的雨痕外观，我们开发了一个端到端的多尺度Transformer，利用各种尺度中潜在有用的特征来促进高质量的图像重建。为了更好地探索空间变化的雨痕的常见退化表示，我们在像素坐标上结合了基于尺度内隐式神经表示和退化输入，采用闭环设计，使得学习到的特征有助于去除雨水并提高模型在复杂场景中的鲁棒性。为了确保来自不同尺度的更丰富的协作表示，我们在我们的多尺度Transformer中嵌入了一个简单而有效的尺度间双向反馈操作，通过进行粗到细和细到粗的信息交流。大量实验证明，我们的方法，命名为NeRD-Rain，在合成和真实世界基准数据集上表现优于最先进的方法。

代码地址：cschenxiang/NeRD-Rain: Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining (CVPR 2024) (github.com)https://github.com/cschenxiang/NeRD-Rain

论文地址：2404.01547.pdf (arxiv.org)

论文简介

论文贡献

主要贡献总结如下:

我们设计了一种有效的多尺度 Transformer，以利用多尺度雨信息生成高质量的去雨结果。
我们引入了隐式神经表示来更好地学习常见的雨降解特征，并展示它可以帮助促进去雨并增强在复杂场景中去雨模型的鲁棒性。
我们将简单而有效的双向反馈传播操作集成到我们的多尺度 Transformer 中，以实现跨尺度更好的特征交互。
对合成和真实世界基准的实验结果表明，我们的方法在性能上表现优于最先进的方法。

为了更好地探索多尺度信息和建模复杂的雨水条纹，我们精心开发了一种有效的双向多尺度 Transformer，采用隐式神经表示（称为 NeRD-Rain），包括一个尺度内 INR 分支和一个尺度间双向分支。前者从多样的多雨图像中学习潜在的退化表示，而后者实现了不同尺度之间更丰富的协作表示。

算法效果

YOLOv8 结合NeRD去雨算法

具体的算法流程如下所示：

大家最好拉到和v8项目同级路径位置：

git clone https://github.com/cschenxiang/NeRD-Rain.git

pip install -r requirements.txt

cd pytorch-gradual-warmup-lr
python setup.py install
cd ..

然后在NeRD-Rain文件夹下新建一个NeRD_v8.py文件，将代码放进去。

完整的代码和权重我都放到了群文件【NeRD_v8_去雨.zip】

部分NeRD_v8.py

def process_image(input_image, weights_path, win_size=256, gpu_device="0"):
    # 设置GPU设备
    os.environ["CUDA_VISIBLE_DEVICES"] = gpu_device
    torch.cuda.set_device(int(gpu_device))

    # 加载模型
    model_restoration = mynet()
    utils.load_checkpoint(model_restoration, weights_path)
    model_restoration.cuda()
    model_restoration = nn.DataParallel(model_restoration)
    model_restoration.eval()

    # 处理图像
    with torch.no_grad():
        input_image = input_image.cuda()
        _, _, Hx, Wx = input_image.shape
        input_re, batch_list = window_partitionx(input_image, win_size)
        restored = model_restoration(input_re)
        restored = window_reversex(restored[0], win_size, Hx, Wx, batch_list)
        restored = torch.clamp(restored, 0, 1)
        restored = restored.permute(0, 2, 3, 1).cpu().detach().numpy()
        restored_img = img_as_ubyte(restored[0])  # 假设直接处理的批量大小为1

    return restored_img

代码里面需要注意的就是 sys.path 这里，这里务必写成你v8项目的绝对路径，以确保可以找到这个项目包。

import sys

sys.path.append("/Github/YOLOv8-Magic/ultralytics-8.1.0")

运行我的代码后就能看到检测结果了

引用

@InProceedings{NeRD-Rain,
    author={Chen, Xiang and Pan, Jinshan and Dong, Jiangxin}, 
    title={Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month={June},
    year={2024}
}