Efficient Frequency Domain-based Transformersfor High-Quality Image Deblurring（CVPR23）

已于 2024-05-16 16:10:33 修改
阅读量757 收藏 6
点赞数 3
分类专栏： 【论文】去模糊 文章标签： 计算机视觉 人工智能
于 2024-05-16 16:09:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43559672/article/details/138921277
版权
最低0.47元/天 解锁文章
论文阅读《Restormer: Efficient Transformer for High-Resolution Image Restoration》
薛定谔的猫头咕咕咕
12-27 1961
图像恢复任务旨在从受到各种扰动（噪声、模糊、雨滴等）影响的低质量图像中恢复出高质量图像，该任务需要强大的先验知识作为引导。基于卷积神经网络的方法感受野受限，无法对像素间的长程依赖进行建模，且在推理过程卷积核的参数固定，无法应对多变的输入内容。相对而言，Transformer中的自注意力机制可以解决以上的问题，而传统的Transformer空间注意力计算过程显存消耗大。为了解决以上的问题，文中提出一种高效的Transformer框架（Restormer）用于图像恢复任务。
RT-DETR改进策略【注意力机制篇】| CVPR-2023 FSAS 基于频域的自注意力求解器 结合频域计算和卷积操作 降低噪声影响
Limiiiing的博客
11-29 216
本文记录的是利用模块优化的目标检测网络模型。全称为：,其结合了频域计算的高效性和卷积操作的特性，有效地降低了注意力计算的复杂度。在加入到网络中，提升图像特征的表示能力，特别是在处理高分辨率图像时能够减少计算成本并降低噪声影响。Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring首先注意到缩放点积注意力计算中QK⊤QK^{\top}QK⊤的每个元素是通过内积获得的，基于此，如果对qiq_{i}qi​和所有
Efficient Frequency Domain-based Transformersfor High-Quality Image Deblurring
weixin_50270824的博客
07-19 2126
过拟合是指模型在训练数据上表现良好，但在测试数据上表现较差的情况，其主要原因是模型过度拟合了训练数据的噪声和特异性（以至于在测试时，稍微与训练数据的“特异性”不同，模型就认为它不是我们寻求的目标，让模型失去了泛化能力）。，通过元素积运算来估计缩放后的点积注意，而不是在空间域中的矩阵乘法。为了克服这个问题，我们提出了一种简单而有效的基于鉴别频域的FFN (DFFN)，其中我们在FFN中引入了一种基于联合摄影专家组(JPEG)压缩算法的门控机制，以判别应该保留哪些低频和高频特征信息以进行潜在的清晰图像恢复。
【CVPR2023】基于频域的高效 Transformer 实现高质量图像去模糊
最新发布
weixin_59422604的博客
03-10 1993
本文提出了一种高效的方法，利用Transformer在频域的特性实现高质量图像去模糊。该方法受卷积定理启发，即两个信号在空间域的相关性或卷积等同于它们在频域的逐元素相乘。基于此，我们开发了一种高效的频域自注意力求解器（FSAS），通过逐元素相乘操作而非空间域的矩阵乘法来估计缩放点积注意力。此外，我们发现简单使用Transformer中的前馈网络（FFN）无法获得良好的去模糊效果。为解决这一问题，我们提出了一种简单有效的基于频域的判别式前馈网络（DFFN），基于联合图像专家组（JPEG）压缩算法在前馈网络中。
论文阅读 | Restormer: Efficient Transformer for High-Resolution Image Restoration
bettii的博客
02-13 2031
Restormer: Efficient Transformer for High-Resolution Image Restoration
论文笔记 |【CVPR2022】Restormer: Efficient Transformer for High-Resolution Image Restoration
CrispyFeSO4的大会堂演奏厅
08-07 2570
Low level入门/科研小白/底层视觉压缩/图像恢复
【CVPR2019】论文完整列表一
热门推荐
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 4926
【CVPR2022】完整论文列表
【ARXIV2111】Restormer: Efficient Transformer for High-Resolution Image Restoration
OUC的搬砖日常
12-11 4909
来自阿联酋起源研究院的工作 论文地址：https://arxiv.org/pdf/2111.09881.pdf 代码地址：https://github.com/swz30/Restormer 这个论文的主要想法是将 Transformer 模型应用到图像修复中，不过和一般的VIT模型不同的是，没有使用 patch 级的特征进行 token 建模，可以理解为每个像素就是一个 token。 Transformer block 主要包括两部分：一部分是self-attention 的计算，另一部分是 FFN..
Efficient Frequency-Domain Image Derainingwith Contrastive Regularization——基于对比正则化的高效频域图像去雨方法
Together_CZ的博客
02-02 1751
EfficientFrequency-DomainImageDerainingwithContrastiveRegularization——基于对比正则化的高效频域图像去雨方法
Restormer: Efficient Transformer for High-Resolution Image Restoration 论文笔记
weixin_46872424的博客
12-29 879
Restormer: Efficient Transformer for High-Resolution Image Restoration 论文笔记
ECCV 2024 | 高效频域图像去雨与对比正则化
小白学视觉
12-23 137
大多数当前的单图像去雨（SID）方法都是基于Transformer，通过全局建模实现高质量的重建。然而，它们的架构仅从空间域构建长距离特征，这在保持有效性的同时带来了显著的计算负担。此外，这些方法要么在训练中忽视了负样本信息，要么未能充分利用负样本中存在的雨迹模式。为了解决这些问题，作者提出了一种频率感知去雨变换框架（FADformer），它完全捕获频域特征以实现高效的雨迹去除。具体来说，作者构建了FADBlock，包括融合傅里叶卷积混合器（FFCM）和先验门控前馈网络（PGFN）。
CVPR2023 Deblur论文整理
longshaonihaoa的博客
08-31 2423
Paper list 来自 https://github.com/DarrenPan/Awesome-CVPR2023-Low-Level-Vision#image-deblurring简单用GPT翻译一下摘要。
【论文合集】Awesome Low Level Vision
m0_61899108的博客
04-10 5741
介绍Low-level任务以及视觉顶会中的相关文章。
风火编程--深度学习算法介绍
风火的博客
05-03 378
缺陷检测uflow目标位置检测yolo\图片转视频sadtalker文本转语音论文总结工具chatpaper图像去模糊注意力机制语义分割深度学习可解释性OCTET形状修复扩散算法3D目标检测。
【每天一篇深度学习论文】（CVPR）大核卷积+Attention的高效图像去雨方法
Magnolia_He的博客
12-04 944
Dilated Convolutional Transformer for High-Quality Image Deraining链接: https://openaccess.thecvf.com/content/CVPR2023W/UG2/papers/Li_Dilated_Convolutional_Transformer_for_High-Quality_Image_Deraining_CVPRW_2023_paper.pdf论文提出了一种名为Dilated Convolutional Transf
【ECCV 2024】傅里叶卷积混合器
qq_43275608的博客
12-25 1888
北京航空航天大学航天学院文章讨论的是单图像去雨（Single Image Deraining, SID）问题，这是一个低级图像恢复任务，目的是从雨图中恢复出干净的背景图像。文章提出了一个名为FADformer（Frequency-Aware Deraining Transformer Framework）的新框架，它通过在频域中捕捉特征来高效去除雨水。文章指出，现有的基于Transformer的方法在全局建模方面效率不高，并且在训练中要么忽视了负样本信息，要么没有充分利用负样本中的雨迹模式。
频域高效Transformer：高质量图像去模糊的利器 —— 官方PyTorch实现
gitblog_00057的博客
06-06 1373
频域高效Transformer：高质量图像去模糊的利器 —— 官方PyTorch实现 FFTformer 项目地址: https://gitcode.com/gh_mirrors/ff/FFTformer ...
"Superpixel-based Deblurring Using DeblurGAN-v2"
05-14
"Superpixel-based Deblurring Using DeblurGAN-v2" is a paper that proposes a method for removing blurs from images using a deep learning algorithm called DeblurGAN-v2. The method uses superpixels, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值