【论文笔记】Learning Enriched Features for Real Image Restoration and Enhancement

最新推荐文章于 2024-10-10 07:20:12 发布
最新推荐文章于 2024-10-10 07:20:12 发布
阅读量3.7k 收藏 20
点赞数 5
分类专栏： 图像去噪 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mohc1689/article/details/105980715
版权
本文提出MIRNet，一种结合空域高分辨率和低分辨率特征的深度学习网络，用于图像恢复和增强。MIRNet利用多尺度信息交换、空时注意力模型和递归残差设计，实现了在保持细节的同时增强图像。其贡献包括多尺度特征提取、信息融合和动态注意力机制。在去噪、超分辨率和图像增强任务中，MIRNet达到了最先进的性能。
摘要由CSDN通过智能技术生成

Learning Enriched Features for Real Image Restoration and Enhancement

Abstract

先讲述高质量图像获取的广泛应用和重要性。CNN的方法主要在全分辨率或者低分辨率表达上应用，前者在空域上效果优良但缺少连贯性的鲁棒结果，后者语义可靠但空域上缺乏精确结果。本文提出的网络实现了空域高分辨率表达和从低分辨率表达中接受强情境信息。核心有四点：并行多分辨率卷积流来提取多尺度特征；通过多分辨率流来进行信息交换；空域和时域注意力模型来提取情境信息；基于多尺度特征融合的注意力机制。

Contribution

  1. 在保留原始分辨率的细节下，能够获取多尺度空域下完备集的特征提取方法；
  2. 通过不断交换（多尺度）信息，可以从多分辨率分支中融合信息来提升表达学习能力；
  3. 用一个核选取网络来融合多尺度特征，动态结合变化的感受野和保留不同空域分辨率下的原始特征信息；
  4. 递归残差设计，分解输入信号来简化学习过程，并通过非常深的网络重建；
  5. 在去噪、超分、图像增强领域的数据集达到SOTA水准；
    上面是论文中的描述，用口水话描述下这篇论文的主要创新点，一个是多尺度信息的重复利用，可以得到更多地冗余信息从而帮助恢复了图像细节；一个是采用了attention机制来对通道和空域进行了操作，即利用了图像的语义信息，从而得到了更好的选核和融合的过程。这篇文章的网络是挺复杂的，本人是做去噪的，目前主要的真实去噪数据集的榜上这个方法效果都非常好。

Method（MIRNet）

主要的网络结构如下：
MIRNet
RRG是递归残差块，主体结构。loss采用了一个叫Charbonnier loss的玩意：
L ( I ^ , I ∗ ) = ∥ I ^ − I ∗

最低0.47元/天 解锁文章
红枫归尘
关注
专栏目录
【图像去噪】论文精读：Learning Enriched Features for Real Image Restoration and Enhancement（MIRNet）
畅游计算机视觉的海洋
09-13 153
论文题目：Learning Enriched Features for Real Image Restoration and Enhancement —— 变分去噪网络:面向盲噪声建模和去除ECCV 2020！新颖模型结构！去噪、超分、增强通用模型！图像恢复由于其退化版本恢复高质量的图像内容，具有广泛的应用，如监视、计算摄影、医学成像和遥感。最近，卷积神经网络 (CNN) 在图像恢复任务的传统方法上取得了显着改进。现有的基于 CNN 的方法通常在全分辨率或逐步低分辨率表示上运行。
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
畅游计算机视觉的海洋
08-26 4217
你是否在全网苦寻【图像去噪（Image Denoising）】的相关资料？你的目标是否是看懂【图像去噪（Image Denoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（Image Denoising）】的相关论文毕业？你是否需要做【图像去噪（Image Denoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（Image Denoising）】有关的问题，那么请继续往下看。
《Learning Enriched Features for Real Image Restoration and Enhancement》
69小石头的博客
05-17 2414
一、论文 《Learning Enriched Features for Real Image Restoration and Enhancement》 摘要：以从降级版本中恢复高质量图像内容为目标，图像恢复在监视，计算摄影，医学成像和遥感等领域拥有众多应用。 最近，卷积神经网络（CNN）与传统的图像恢复任务方法相比取得了巨大的进步。 现有的基于CNN的方法通常以全分辨率或渐进式低分辨率表示形式运行。 在前一种情况下，获得了空间精确但上下文上不那么健壮的结果，而在后一种情况下，生成了语义上可靠但空间上不
MIRNet-v2：高效图像修复与增强的开源利器
最新发布
gitblog_00513的博客
10-10 808
MIRNet-v2：高效图像修复与增强的开源利器 MIRNetv2 [TPAMI 2022] Learning Enriched Features for Fast Image Restoration and Enhancement. Results on Defocus Deblurring, Denoising, S...
【图像增强】Learning Enriched Features for Real Image Restoration and Enhancement 阅读笔记
weixin_43514766的博客
07-22 1740
????Paper: Learning Enriched Features for Real Image Restoration and Enhancement ????Code: https://github.com/swz30/MIRNet. ????Abstract 图像修复在监控、计算摄影、医学成像和遥感领域中有着重要的应用。最近，卷积神经网络（CNN）在图像修复任务方面取得了比传统方法更显著的改进。现有的基于CNN的方法通常在全分辨率（full resolution）或以逐步低分辨率的方式进行。
【图像Restoration】Learning Enriched Features for Real Image Restoration and Enhancement
乐亦亦乐的博客
09-27 2758
论文地址：https://arxiv.org/pdf/2003.06792.pdfhttps://arxiv.org/pdf/2003.06792.pdf 代码地址：https://github.com/swz30/MIRNethttps://github.com/swz30/MIRNet 本博客为阅读这篇论文的一些记录，其具体内容和代码可以参考原论文和github上官方实现。个人觉得论文中的图画的非常直观，代码的可读性也非常好，优雅！ 现有的基于CNN的方法通常在全分辨率或逐步低分辨率的...
Learning Enriched Features for Fast Image Restoration and Enhancement 论文阅读笔记
read, note and comment papers
07-14 2395
这里的特征图是已经上采样到相同尺度了，相加做一个global average pooling和全连接层后，分成两个向量，各自再全连接层一次，然后softmax归一化使得两个向量的加和处处为1，然后进行通道加权后相加。这是2022年TPAMI上发表的大名鼎鼎的MIRNetv2，是一个通用的图像修复和图像质量增强模型，核心是一个多尺度的网络。网络结构整体是残差的递归，不断把残差展开可以看到是一些残差块的堆叠。启发是，一个高性能的网络，用简单的距离损失函数进行有监督训练，能够产生很好的增强结果。
Learning Enriched Features for Fast ImageRestoration and Enhancement
weixin_53581119的博客
05-28 1052
受最近低级视觉方法[32]，[69]，[70]，[71]的进步的激励，这些方法结合了注意力机制[110]，[111]，[112]，我们提出了残差上下文块(RCB)来提取卷积流中的特征。我们方法的基本构建块，包含几个关键元素:(a)并行多分辨率卷积流用于提取(从细到粗)语义更丰富和(从粗到细)空间精确的特征表示，(b)跨多分辨率流的信息交换，(c)来自不同流的基于注意力的特征聚合，以及(d)残差上下文块用于提取基于注意力的特征。select操作符使用这些描述符重新校准(不同流的)特征映射，然后是它们的聚合。
matlabe基于残差学习的图像去噪_ECCV 2020 | MIRNet：学习丰富的特征以进行真实图像修复和增强...
weixin_42129113的博客
12-30 1392
在图像去噪、超分辨率和图像增强任务上表现SOTA！性能优于LP-KPN等网络，代码现已开源！Learning Enriched Features for Real Image Restoration and Enhancement作者单位：IIAI, 加州大学默塞德分校, 谷歌代码：swz30/MIRNet论文：https://arxiv.org/abs/2003.06792以从degraded版...
Learning Enriched Features for Real Image Restoration and Enhancement Paddle模型复现93号（1）
GAN、Transformer、Vue、Django知识学习&&分享者 ZhuBa的博客 zhuba-Ahhh.github.io
05-03 1万+
Evaluation Image Denoising 图像去噪 的Testing on SIDD dataset、Testing on DND dataset Image Super-resolution 图像超分辨率 以上四个由于显存不够等硬件问题无法跑起，不过环境等已搭好 DND： SIDD： Image Enhancement 图像增强 Testing on LOL dataset、Testing on Adobe-MIT FiveK dataset 模型结果 ​ 对去噪、超分、图像增强测
Diffusion Models for Image Restoration and Enhancement – A Comprehensive Survey
通街是密人有的博客
08-23 4025
图像恢复(IR)一直是低水平视觉领域不可或缺的一项具有挑战性的任务，它致力于提高因各种形式的退化而失真的图像的主观质量。近年来，扩散模型在AIGC的视觉生成方面取得了重大进展，由此提出了一个直观的问题，即“扩散模型能否促进图像恢复”。为了回答这个问题，一些开创性的研究试图将扩散模型集成到图像恢复任务中，从而获得比以前基于GAN的方法更好的性能。尽管如此，关于基于扩散模型的图像恢复的全面而有启发性的研究仍然很少。
【全网最全】图像色彩增强开源代码数据集汇总
helloworld_Fly的博客
06-26 837
具体地：使用低分辨率输入和网络，预测LUT参数和采样坐标（分别预测三个颜色采样坐标并笛卡尔积得到三维坐标）；利用空间差异性loss，颜色一致性loss和曝光经验参数控制loss优化训练过程；Zero-DCE，使用卷积学习输入图片特征，分解为8个RGB三通道控制参数；在3D LUT基础上，考虑自适应采样间隔，根据颜色分布密集程度来采样；增加少量参数，训练得到结果提升；分别迭代调整8次图片曲线，得到最终增强图片；3个3D LUT basic block；低分辨率分支学习三个block参数；
Learning Continuous Exposure Value Representations for Single-Image HDR Reconstruction 论文阅读笔记
read, note and comment papers
10-14 270
这是国立阳明交通大学、联发科和英伟达合作的一篇ICCV 2023的HDR Reconstruction的论文 文章用INR来生成具有连续曝光值的图片，从而能够生成更加多样的LDR图片，而文章发现用更多样的LDR图片训练的网络具有更好的性能，这也是文章的动机。 文章说用了INR的思路，其实根本就不是INR，INR的输入是坐标，而这里其实就是把s给repeat成feature map大小concatenate到feature map后面，然后用几个1x1卷积进行处理，美其名曰MLP，又不是1x1卷积就是I
ICCV 2023 LLIE,MEC,MEF相关论文列表
read, note and comment papers
09-11 754
ICCV 2023 LLIE MEC MEF 相关论文列表
Contrastive Learning for Compact Single Image Dehazing
2301_77854234的博客
06-24 229
然而，现有的基于深度学习的除雾方法仅采用清晰的图像作为正样本来指导除雾网络的训练，而未利用负样本信息。而且，它们中的大多数集中在通过增加深度和宽度来增强除雾网络，从而导致大量的计算和内存需求。在本文中，我们提出了一种基于对比学习的新颖对比正则化（CR）技术，以利用模糊图像和清晰图像的信息分别作为负样本和正样本。CR确保在表示空间中将还原后的图像拉到更接近清晰图像，并推到远离朦胧图像的位置。此外，考虑到性能和内存存储之间的权衡，我们基于类自动编码器（AE）框架开发了一个紧凑的除雾网络。
阅读论文《Deep Bilateral Learning for Real-Time Image Enhancement》
CHNguoshiwushuang的博客
08-20 1万+
   这是2017 siggraph的一篇论文，寒假boss让我看这篇论文我没怎么看懂。最近在公司实习，发现该论文的成果已经移到手机端上了，效果还非常不错。这里我重新温习了一下这篇论文，发现有许多可以借鉴的地方，是一篇非常不错的论文，这里重新叙述一下，谈谈我的理解。    首先说一下这篇文章的整体思路，这篇文章对于图像增强的方法是，将图像首先做下采样，继续卷积下采样几次然后分别学习其全局特征和局...
【论文阅读】Depth-Aware Video Frame Interpolation
olivertai的博客
10-28 4480
项目主页：https://sites.google.com/view/wenbobao/dain 项目Git：https://github.com/baowenbo/DAIN 论文地址：https://arxiv.org/pdf/1904.00830.pdf 简介 近年来基于深度学习的视频插帧成为了计算机视觉的研究方向之一，视频插值主要一般会用于一下几个方面： 慢动作视频生成（slow-mo...
Charbonnier Loss
热门推荐
MOL
10-20 2万+
最近在做一些图像生成的相关任务，看到了有些论文用Charbonnier Loss来近似损失来提高模型的性能，这里就对论文中提到的Charbonnier Loss做一个梳理。 Charbonnier Loss的表达式如下所示： 首先参考以下这篇超分辨领域的论文《Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks》： http://xxx.itp.ac.cn/pdf/1710.01992​x..
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值