SwinIR: 基于Swin Transformer的图像重建网络

原创 已于 2023-12-18 15:42:31 修改 · 957 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能 #计算机视觉 #超分辨率重建

于 2023-12-11 12:14:23 首次发布
本文介绍了一种基于SwinTransformer的图像超分辨率模型SwinIR，它解决了vanillaTransformer在图像超分中的全局依赖问题和边界伪影。模型包括浅层特征提取、深层特征提取（通过RTSB和残差结构）及高质量图像重建模块，使用PixelShuffle进行上采样。实验表明，结合不同损失函数，SwinIR在图像恢复效果上表现出色。

SwinIR: Image Restoration Using Swin Transformer

简介

论文地址：SwinIR: Image Restoration Using Swin Transformer

代码：SwinIR

​ 本文提出了一个基于swin transformer的图像超分模型swinIR。其中SwinIR分为三部分：浅层特征提取、深层特征提取和高质量图像重建模块。

现阶段问题

vanilla transformer通过注意力捕获了全局依赖，但是它是将图片达成patch进行输入，这样在图像超分领域出现了两个问题。

  • 重建图像在每个小块附近存在边界伪影
  • 边界像素会丢失信息。

虽然通过patch重叠，能进行缓解，但是也带来额外计算负担。

主要贡献

​ 将Swin Transformer应用于low-level任务中。

网络框架

​ 采用shallow feature进行浅层特征提取后，输入到RTSB（多个swin transformer残差块）进行深层的特征提取，最后使用高质量图像重建模块（卷积和上采样操作）进行图像重建。

2023-11-22_09-50-50

最低0.47元/天 解锁文章
【图像去噪】论文精读：SUNet: Swin Transformer UNet for Image Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-09 973
论文题目：SUNet: Swin Transformer UNet for Image Denoising —— SUNet:用于图像去噪的Swin Transformer UNetISCAS 2022！Swin U-Net用于图像去噪！图像恢复是一个具有挑战性的问题，也是一个长期存在的问题。在过去的几年里，卷积神经网络 (CNN) 几乎主导了计算机视觉，并在包括图像恢复在内的不同级别的视觉任务上取得了相当大的成功。
【图像超分】论文精读：SwinIR: Image Restoration Using Swin Transformer
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-12 3716
图像恢复是一个长期存在的低级视觉问题，旨在从低质量图像中恢复高质量图像（例如，缩小、噪声和压缩图像）。虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试变形金刚，这在高级视觉任务中显示出令人印象深刻的性能。在本文中，我们提出了一种基于 Swin Transformer 的图像恢复的强大基线模型 SwinIR。SwinIR由三部分组成:浅层特征提取、深层特征提取和高质量图像重建。特别是，深度特征提取模块由几个残差 Swin Transformer 块 (RSTB) 组成，每个块具有多个 Swin Tr
SwinIR: Image Restoration Using Swin Transformer
mytzs123的博客
04-25 899
图像恢复是一个长期存在的低水平视觉问题，旨在从低质量图像（例如，缩小尺寸、噪声和压缩图像）中恢复高质量图像。虽然最先进的图像恢复方法是基于卷积神经网络的，但很少有人尝试使用Transformers，因为它在高级视觉任务中表现出令人印象深刻的性能。在本文中，我们提出了一种基于Swin Transformer的用于图像恢复的强基线模型SwinIR。SwinIR由三部分组成：浅层特征提取、深层特征提取和高质量图像重建。特别地，深度特征提取模块由几个剩余的Swin-Transformer块（RSTB）组成，每个块具
SwinIR模型卡片：性能指标、限制与适用场景说明
最新发布
gitblog_00615的博客
09-22 550
SwinIR（Swin Transformer for Image Restoration）是一种基于Swin Transformer架构的图像恢复模型，由ETH Zurich的研究团队提出。该模型在多种图像恢复任务中实现了**最先进性能**（State-of-the-Art），包括图像超分辨率重建、图像去噪和JPEG压缩伪像消除。 ### 1.1 核心架构 SwinIR由三部分组成：浅层特征...
低质量图像超分算法 SwinIR: Image Restoration Using Swin Transformer
如何心安理得的在老板眼皮下摸鱼
08-16 9680
图像恢复是一个长期存在的低级视觉问题，旨在从低质量图像(例如，缩小的、有噪声的和压缩的图像)中恢复高质量图像。虽然最先进的图像恢复方法是基于卷积神经网络的，但很少有人尝试使用在高级视觉任务中表现出令人印象深刻的性能的变压器。本文提出了一种基于Swin变换的强基线图像恢复模型SwinIR。SwinIR由浅层特征提取、深层特征提取和高质量图像重建三部分组成。实验表明在图像超分辨率(包括经典、轻量级和真实世界图像超分辨率)、图像去噪(包括灰度和彩色图像去噪)和JPEG压缩伪影减少。实验结果表明，...
SwinIR: Image Restoration Using Swin Transformer论文笔记
weixin_46872424的博客
12-14 1638
本文对SwinIR进行了分析，主要是SwinIR: Image Restoration Using Swin Transformer论文笔记
XctNet：从单个X射线图像重建体积图像的网络
qq_45801839的博客
12-02 3215
传统的计算机断层扫描（CT）通过使用不同角度的X射线投影计算逆氡变换来生成体积图像，这导致高剂量辐射、长重建时间和伪影。生物学上，可以利用先前的知识或经验在一定程度上从2D图像中识别体积信息。提出了一种深度学习网络XctNet，以从2D像素中获得该先验知识并生成体积数据。在所提出的框架中，自注意机制用于特征自适应优化；采用多尺度特征融合进一步提高重建精度；提出了一种3D分支生成模块来生成不同生成字段的细节。
HAT（CVPR 2023）：基于混合注意力机制的图像重建网络
Miracle Fan的博客
12-13 7344
​ 通过归因分析attribution analysis method - Local Attribution Map (LAM)，发现目前基于Transformer的方法只能来利用有限的输入空间信息。这意味着 Transformer 的潜力在现有网络中仍未得到充分利用。为了激活更多的输入像素以获得更好的恢复，提出了一种新的混合注意Transformer(HAT)。它结合了通道注意力和基于窗口的自注意力机制，从而利用了它们的互补优势。此外，为了更好地聚合窗口之间信息，引入了一个重叠的交叉注意模块。
SwinIR：基于 Swin Transformer 的图像复原新范式（附视频讲解）
2302_80218188的博客
09-02 1053
摘要： SwinIR是微软亚洲研究院提出的基于Swin Transformer的图像复原模型，突破了传统CNN在长距离依赖建模上的局限。其核心采用分层结构和滑动窗口注意力机制，兼顾效率与全局特征捕捉，支持超分辨率、去噪等多任务，在DIV2K等基准上达到SOTA性能。通过“剪映+AI”制作的技术视频，高效展示了其原理与应用前景，如历史影像修复、医学图像增强等。SwinIR标志着Transformer在像素级任务中的突破，为跨架构创新提供了新思路。
《SwinIR：使用Swin-Transformer图像恢复》学习笔记
学无止境。
01-23 3463
图像修复是一个长期存在的低级视觉问题，旨在从低质量图像（例如，降采样、噪声污染和压缩的图像）中恢复高质量图像。虽然最先进的图像修复方法大多基于卷积神经网络（CNN），但很少有研究尝试使用在高级视觉任务中表现出色的Transformer模型。在本文中，我们提出了一种基于Swin Transformer的强基线模型——SwinIR，用于图像修复。浅层特征提取深层特征提取和高质量图像重建。
图像重建
weixin_42821760的博客
11-19 1155
图像重建流程 Gate仿真 得到Root数据，用Analysis.C将数据转化成listmode数据 将listmode数据转化为3D的sinogram数据 将3Dsinogram用SSRB转化成2D的slice切片sinogram进行重建 ...
图像超分辨率重建技术中的深度残差网络设计
KongDere的博客
02-29 565
综上所述，通过本文对图像超分辨率重建技术中的深度残差网络设计进行探讨，我们可以看到深度残差网络在图像处理领域的重要性和优势。这种设计使得深度残差网络在重建高分辨率图像时能够更好地保留图像的细节和纹理，从而生成更加逼真和清晰的图像结果。深度残差网络的设计理念是通过引入残差学习来解决训练深层神经网络时出现的梯度消失和梯度爆炸问题，有效提高网络的收敛速度和性能。在图像超分辨率重建任务中，深度残差网络可以帮助网络更好地学习图像之间的复杂映射关系，从而实现更准确的高分辨率重建。一、深度残差网络的设计理念。
卷积神经网络在图像重建中的实践与研究
AI天才研究院
12-26 867
1.背景介绍 图像重建是计算机视觉领域中一个重要的研究方向，它涉及到从低维信息(如边缘、纹理、颜色等)重建高维信息(如图像)。随着深度学习技术的发展，卷积神经网络(CNN)在图像重建领域取得了显著的成果。在这篇文章中，我们将从以下几个方面进行探讨： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见问题与解答...
图像超分辨率—SwinIR Transformer训练教程（使用自己的数据集，Pytorch）
hsdujdjrjrj的博客
07-11 2496
SwinIR Transformer图像超分辨率重建训练教程。
SwinIR：基于Swin Transformer的图像恢复与超分辨率库
gitblog_00053的博客
03-21 845
是一个由Jingyun Liang开发的深度学习项目，专注于图像恢复和超分辨率任务。它利用了先进的Swin Transformer架构，这是一种在计算机视觉领域表现出色的Transformer模型。SwinIR提供了训练脚本、预训练模型和易于使用的API，使得研究人员和开发者可以轻松地应用这些高级技术到自己的图像处理任务中。 ## 技术分析 ### Swin Transformer Swin...
图像超分辨率重建中的生成对抗网络方法
xiehewe的博客
02-26 738
通过不断优化生成器和判别器网络的结构和参数设置，可以实现更加准确和高效的图像重建，提高图像的视觉质量和清晰度。在图像超分辨率重建中，生成对抗网络通常被用来学习不同分辨率之间的映射关系，从而实现将低分辨率图像转换为高分辨率图像的目标。判别器是生成对抗网络中的另一个重要组件，其任务是从真实图像和生成器生成的图像中区分出哪些是真实的高分辨率图像。生成对抗网络方法在图像超分辨率重建中可以有效地保留图像的细节信息，生成高质量、逼真的图像。在图像超分辨率重建中，常用的损失函数包括像素级的损失函数、感知损失函数等。
Activating More Pixels in Image Super-Resolution Transformer（HAT）超分
longshaonihaoa的博客
09-13 985
基于Transformer的方法在低级视觉任务（如图像超分辨率）上表现出令人印象深刻的性能。然而，我们发现这些网络只能通过归因分析利用有限的输入信息空间范围。这意味着Transformer的潜力在现有网络中仍未得到充分利用。为了激活更多输入像素以获得更好的重构效果，我们提出了一种新颖的混合注意力Transformer（Hybrid Attention Transformer，HAT）。它结合了通道注意力和基于窗口的自注意力方案，从而利用全局统计和强大的局部拟合能力。
图像超分辨率重建（SISR）
gwpscut的博客
04-04 9155
好久没有写博客了~ 接下来会写一系列超分的paper的阅读笔记，均来自~GitHub上的Single-Image-Super-Resolution项目的paper（自己mark一下） https://github.com/YapengTian/Single-Image-Super-Resolution ...
图像重建之深度学习重建
嵌入式之斋
11-14 714
需要注意的是，在使用基于 GAN 的图像重建方法时，需要注意数据集的大小和质量，以及合适的网络架构和参数设置。生成器网络的目标是生成足够逼真的图像以骗过判别器，而判别器网络的目标是尽可能准确地判断真实图像和生成图像。在训练过程中，生成器试图生成逼真的图像以骗过判别器，而判别器则努力识别真实图像和生成图像的差异。定义判别器网络：判别器网络也是一个 CNN，用于判断输入图像是真实的还是生成的。图像重建：一旦生成对抗网络训练完毕，可以通过向生成器输入随机噪声来生成逼真的图像。
SWINIR是基于Transformer的超分辨率网络嘛
06-17
是的，SwinIR（Swin-Image Restoration）是一个基于Transformer架构的超分辨率图像恢复网络。它结合了Swin Transformer的特点，这是一种基于窗口划分和自注意力机制的Transformer变种，特别适合处理密集视觉任务。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Miracle Fan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值