技术干货 | AECRNet：基于对比学习的紧凑图像去雾方法

最新推荐文章于 2024-01-09 13:39:17 发布
最新推荐文章于 2024-01-09 13:39:17 发布
阅读量1.5k 收藏 18
点赞数
分类专栏： 技术博客 文章标签： 学习 机器学习 人工智能 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/125598994
版权

MindSpore作为一个端边云协同的的全场景AI开源框架，为开发者带来端边云全场景协同、极致性能，极简开发、安全可信的体验，2020.3.28开源来得到数五十万以上的下载量，走入100+Top高校教学，拥有数量众多的开发者，在AI计算中心，智能制造、云、无线、数通、能源、消费者1+8+N等端边云全场景逐步广泛引用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、模型众智合作、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。基于MindSpore的AI顶会论文越来越多，我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟MindSpore合作，一起推动原创AI研究，MindSpore社区会持续支撑好AI原创和AI应用，本文是MindSporeAI顶会论文第四篇，我们选择了来自国内高校在CVPR 2021的一篇论文进行解读，感谢华东师范大学谢教授团队投稿。

  • 论文整体目录：

1. MindSpore论文解读 | 自此告别互信息：用于跨模态行人重识别的变分蒸馏技术

2. MindSpore论文解读 | EPRNet:应用于实时街景分割的高效金字塔表征网络

 3.  MindSpore AI论文解读3：文本语义哈希在大规模信息检索系统的应用

 01 

研究背景

  • 研究背景介绍：图像去雾的目的是消除雾霾环境对图像质量的影响，增加图像的可视度，可以提升车辆检测、场景理解等高层视觉任务在恶劣天气场景下的性能，是图像处理和计算机视觉领域共同关切的前沿课题。但目前不论是基于先验的图像去雾方法还是基于学习的图像去雾方法都仅使用了正样本的信息，得到的结果仍具有大量雾残留、颜色失真、伪影等问题。此外，不断增强的模型带来了大量的参数量和计算量，使得模型在轻量级设备中难以部署。

  • 论文研究方向：本文主要针对现有图像去雾方法中所存在上述问题，重点挖掘负样本信息，设计了以自编码器为核心的轻量级网络，均衡图像去雾模型的性能与参数量。

  • 团队背景介绍：所在团队由吴文俊科学技术奖自然科学奖、上海市科技进步特等奖获得者谢源教授领衔。团队长期从事机器学习、计算机视觉与模式识别等方面的科研工作,有扎实的研究基础和丰富的成果积累（AI与CV顶会年均产出4~8篇，AI与CV顶刊年均产出3~5篇），并形成了一系列自有知识产权的国际领先的科研成果。

 02 

论文主要内容简介

论文提出了一种基于对比学习的紧凑图像去雾方法。通过引入负样本，并充分挖掘负样本中的信息，进一步约束去雾问题解空间的上下界。区别于分类任务中的对比学习，论文中设计的对比正则在预训练模型的特征空间上计算样本之间的距离。在此基础上，论文设计了一种紧凑的模型。采用编码器-解码器的结构，首先对输入进行下采样，使密集计算集中在低分辨率空间。上下采样层特征间进行自适应混合，使浅层信息流向深层，同时自适应融合。此外，引入可变形卷积模块以获取更高效的信息。

论文通过大量、详实的消融实验在实践中验证了理论的正确性，并在与SOTA方法的对比中，以极简的网络结构大幅领先于所有相关方法，证实了理论的有效性。同时论文设计的对比正则具有即插即用性，可有效提升现有SOTA方法。

 03 

代码链接

  • 会议名称：CVPR 2021

  • 论文链接：https://arxiv.org/abs/2104.09367

  • 基于MindSpore实现代码开源链接：https://gitee.com/wyboo/AECRNet-MindSpore

 04 

算法框架技术要点

算法框架包括两部分，即自编码器结构的去雾网络，以及对比正则。去雾网络包括下采样部分，FA模块，动态特征增强模块，自适应Mixup操作以及上采样部分。除了传统的重建损失以外，论文将去雾网络的输出作为锚点，清晰图作为正样本，原始雾图作为负样本，输入到预训练的VGG网络中并计算对比正则。

图一：算法框架（模型结构图）

 05 

实验结果

图二：论文模型在合成和真实数据集上实验结果

图三：论文提出的对比正则应用于SOTA模型实验结果

图四：不同数目的正样本和负样本对论文所提出的对比正则的影响

图五：论文模型与其他模型性能与参数量的均衡比较

 06 

MindSpore代码实现

代码主要包括以下模块：数据加载，网络结构，损失函数以及训练器。

  • 数据加载：

图六：数据集加载

图七：数据生成器及数据增强

  •  网络结构

图八：注意力模块

图九：去雾模块

图十：MixUp操作

图十一：完整去雾网络

  • 损失函数

图十二：对比正则损失

图十三：完整损失函数

  • 训练器

图十四：单步训练过程

图十五：完整训练过程

07 

总结与展望

本文设计了一个针对去雾任务的对比正则损失，通过引入正负样本有效约束了解空间。同时设计了轻量级去雾网络，在保证网络性能的同时减少了参数量。文中所提出的对比正则具有即插即用性，可广泛应用于其他去雾模型，但未在其他低层视觉任务上进行探索。未来工作将着力探索本文所提出的对比损失对其他图像复原类任务的有效性，以及对比学习在模型压缩方面的其他应用形式。

昇思MindSpore
关注
  • 0
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
干货|数据分析之用户画像方法与实践
01-27
本文来自作者罗志恒,文章重点讲解了用户画像在数据分析中的应用；如何构建用户画像。在日常商业活动中，有各种各样的职能划分：增长、内容、活动、产品，虽然具体工作和最终目标不一样，但其实都是围绕着“用户”去做，可以说都是在做“用户运营”。如今伴随着流量红利的结束、获客成本的不断提高，我们进入了一个用户精细化运营阶段。在这个阶段中，我们不得不使用一个工具——用户“画像”标签体系。今天我们就来说说用户画像。本文重点：1.用户画像在数据分析中的应用；2.如何构建用户画像。 用户画像（UserPersona）的概念最早由交互设计之父AlanCoo
图像去雾（image dehazing）近期论文简述及模型测试
agonysome的博客
08-17 1万+
keyword：hazy ，dehazing 1. 主要是CVPR最近两年的论文 [1] Multi-Scale Boosted Dehazing Network With Dense Feature Fusion, CVPR2020【code】 提出了一种基于U-Net架构的具有密集特征融合的多尺度增强去雾网络 [2] Domain Adaptation for Image Dehazing, CVPR2020【code】 域适应 +图像去雾，解决了大部分去雾方法在合成数据集上优秀而真实数据集上..
复现深度学习图像去雾网络AECR-Net的若干问题；附：解决方法
weixin_59529918的博客
11-09 355
AECR-Net通过引入对比学习的方法，将有雾图像作为负样本，清晰图像作为正样本，网络输出图不断拉进与正样本的距离同时排斥负样本来实现图像去雾。下载解压后文件夹改为DCNv2，文件夹中的内容为下图，继续执行命令【python setup.py install】等待安装，即可运行。先删除底部的build文件夹，然后在Linux窗口执行 【python setup.py install】命令。本人在复现AECR-Net过程中，走了不少坑，浪费了不少时间，本篇意为帮助复现学习者节省时间。欢迎，一起交流学习！
基于对比学习的压缩单图像去雾(Contrastive Learning for Compact Single Image Dehazing-cvpr2021)
w18226357716的博客
01-22 4292
概述 在本文中，提出了一种新的基于对比学习的对比正则化(CR)方法，将模糊图像和清晰图像的信息分别作为负样本和正样本来利用。CR保证了恢复后的图像在表示空间中向清晰图像拉近，向远离模糊图像的方向推远。此外，考虑到性能和内存存储的权衡，本文开发了一个紧凑的基于类自动编码器(AE)框架的去雾网络。该算法采用自适应混合操作和动态特征增强模块，分别通过自适应保持信息流和扩展接收域来提高网络的转换能力。 主要贡献 1、提出了一种新的ACER-Net，通过对比正则化和高度紧凑的基于自编码器的去雾网...
干货2：基于深度学习的目标检测算法综述
08-24
目标检测（Object Detection）是计算机视觉领域的基本任务之一，学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初 2013 年提出的 R-CNN、OverFeat，到后面的 Fast/Faster R-CNN、SSD、YOLO 系列，再到 2018 年最近的 Pelee。短短不到五年时间，基于深度学习的目标检测技术，在网络结构上，从 two stage 到 one stage，从 bottom-up only 到 Top-Down，从 single scale network 到 feature pyramid network，从面向 PC 端到面向手机端，都涌现出许多好的算法技术，这些算法在开放目标检测数据集上的检测效果和性能都很出色。
AECR-net去雾复现中的问题
weixin_46048507的博客
09-04 501
在这篇文章找中主要是，对在AECR-net复现过程中遇到的一些问题，进行归纳总结。
【无标题】
w18226357716的博客
03-08 1722
AECRNET.py import torch import torch.nn as nn import torch.nn.functional as F from torch.nn import init import functools from deconv import FastDeconv from DCNv2.dcn_v2 import DCN # 默认卷积，不改变维度大小，仅仅是为了提取特征 def default_conv(in_channels, out_channels, kern
Haze removal for single image: A comprehensive review单幅图像的雾霾去除:一个全面的回顾2023
m0_75262530的博客
08-21 1046
摘要：图像去雾一直是计算机视觉领域的研究热点，雾霾对相机成像质量影响很大。因此，在过去的几十年里，人们提出了许多图像去雾方法。为了帮助初涉该领域的研究人员快速了解图像除雾的发展历史和现状，本文对几种具有代表性的除雾方法进行了分析，评价了它们的优缺点，并从不同的角度指出了最佳的除雾方法。大量实验表明，一般认为AECR-Net是最好的除雾算法，Tarel方法是最好的实时除雾方法。此外，本文还讨论了图像去雾的主流基准、指标、挑战和机遇。 Introduction 雾霾对机器视觉系统的性能有很大的影响。雾霾
【图像去雾】Contrastive Learning for Compact Single Image Dehazing阅读
乐亦亦乐的博客
09-25 4367
论文：https://arxiv.org/pdf/2104.09367.pdfhttps://arxiv.org/pdf/2104.09367.pdf 代码：https://github.com/GlassyWu/AECR-Nethttps://github.com/GlassyWu/AECR-Net 提出对比正则化；利用有雾图像和清晰图像的信息作为正负样本。确保恢复的图像远离模糊图像，而更接近清晰图像。 其中 FA Block 来源于FFA-Net中的模块；论文中使用FA 模块作为AE （A..
【论文阅读】深度学习去雾2——去雾网络的Loss和超参数整理
hyfine
06-05 3443
文章目录Towards Perceptual Image Dehazing by Physics-Based Disentanglement and Adversarial TrainingCycle-Dehaze: Enhanced CycleGAN for Single Image DehazingHigh-Resolution Image Dehazing with respect to T...
干货|从零到一学习知识图谱的技术与应用
01-27
本文来自作者李文哲，知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、前沿领域以及整体知识...
技术干货 | PACMOO：基于帕累托最优的公平性约束协同过滤算法
Kenji_Shinji的博客
06-30 544
MindSpore作为一个开源的全场景AI框架，为开发者带来端边云全场景协同、极致性能，极简开发、安全可信的体验，2020.3.28开源来得到数六十万以上的下载量，走入100+Top高校教学，已通过HMS在4000+App上商用，拥有数量众多的开发者，在AI计算中心，智能制造、云、无线、数通、能源、消费者1+8+N等端边云全场景逐步广泛应用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。基于
Vision Transformers for Single Image Dehazing解读
最新发布
qq_44185614的博客
01-09 1272
图像去雾是一种具有代表性的低级视觉任务，从模糊图像中估计出潜在的无雾图像。近年来，基于卷积神经网络的方法主导了图像去雾。然而，最近在高级视觉任务中取得突破的视觉Transformers，并没有为图像去雾带来新的维度。我们从流行的Swin Transformer开始，发现它的几个关键设计不适合图像去雾。为了为此，我们提出了DehazeFormer，它包括各种改进，例如。
CVPR 2021 论文大盘点-去雾去模糊篇
OpenCV中文网
09-23 4204
本文继续总结CVPR 2021 底层图像处理相关论文，包含图像/视频去模糊和图像/视频去雾。共计 14 篇。大家可以在：https://openaccess.thecvf.com/CVPR...
AOD-NET：An All-in-One Network for Dehazing and Beyond
热门推荐
女王の专属领地
04-05 2万+
摘要:本文提出了一种用卷积神经网络（CNN）构建的图像去雾模型，称为一体化除雾网络（AOD-Net）。它是基于重新配制的大气散射模型设计的。 AOD-Net不是像大多数先前模型那样分别估算传输矩阵和大气光，而是通过轻量级CNN直接生成清晰图像。这种新颖的端到端设计使得将AOD-Net嵌入到其他深度模型（例如，faster R-CNN）中变得容易，以改善对模糊图像的高级任务性能。在合成和自然模糊图...
retinex深度学习图像去雾
11-16 8575
此外，本文还介绍了图像去雾的基本模型和常用评价指标，并探讨了图像去雾技术在机器视觉、自动驾驶和安防监控等领域的应用。然而，在有雾的情况下，由于大气散射的影响，暗通道中的像素值会变得较大。因此，近年来，越来越多的基于深度学习的算法被提出用于图像去雾，这些算法可以在保证高准确性的同时，具有更快的速度和更好的实时性。在训练过程中，该算法使用有噪声的图像和其对应的无噪声图像来进行监督学习，从而得到高质量的恢复结果。在训练过程中，该算法使用有噪声的图像和其对应的无噪声图像来进行监督学习，从而得到高质量的恢复结果。
AERONET简介、数据下载与绘图
wokaowokaowokao12345的专栏
03-12 2万+
AERONET 全球自动观测网AERONET (AErosol RObotic NETwork)是由NASA 和 LOA-PHOTONS (CNRS) 联合建立的地基气溶胶遥感观测网。该网络现已经覆盖了全球主要的区域，目前全球共有500多个站点，利用CIMEL 自动太阳光度计（SPAM）作为基本观测仪器。AERONET对于研究全球气溶胶的传输、气溶胶辐射效应、验证辐射传输模式以及校验卫星遥感气溶...
深度学习去雾
weixin_44681745的博客
03-07 3139
文章目录前言一、MSCN-Net多尺度卷积神经网络去雾（非端到端）1.网络结构图2.估计传输图代码3.利用传输图和假设环境光去雾公式和代码二、端到端去雾AOD-Net1.公式推理和网络结构图2.代码三、DCP-Net密集连接金字塔去雾网络（端到端）1.网络结构图2.估计环境光子网络代码3.估计传输图子网络代码4.联合去雾网络代码四、FFA-Net特征注意融合网络去雾（端到端）1.总体网络结构图2.注意力机制结构图和代码3.基础块结构图和代码4.总体网络结构图和代码五、门控上下文聚合网络GCA-Net去雾去雨
去雾网络-----FFA-Net
qq_59581717的博客
09-02 372
FFA-Net。
大气散射模型图像去雾
09-24
大气散射模型是图像去雾算法中的一种常用模型。根据该模型，对于一幅给定的输入图像I(x, y)，其每个像素点的亮度可以表示为L(x, y) = J(x, y)t(x) + A(1 - t(x))，其中J(x, y)为无雾图像，A为全球大气光成分，t(x)为透射率。透射率t(x)反映了大气对光线传播的影响程度，值越小表示光线传播受到的阻碍越大，图像越模糊。 常用的图像去雾算法利用大气散射模型来估计透射率，并通过透射率的估计值恢复出无雾图像。其中，基于暗通道先验的去雾算法是一种经典方法。该算法通过对大量无雾图像进行统计分析，发现在无雾图像上，每个区域都可能存在某个通道有很低的像素值，这被称为暗通道先验。根据该先验，可以通过计算原始图像在每个通道上的最小值，得到暗通道图像。通过暗通道图像的处理，可以估计出透射率的值。 除了基于暗通道先验的方法，还有其他一些基于神经网络的图像去雾算法，如DehazeNet和AOD-Net。这些算法通过训练神经网络来学习有雾图像与透射图之间的映射关系，进而求解透射率并恢复无雾图像。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值