LIGHTWEIGHT IMAGE INPAINTING BY STRIPE WINDOW TRANSFORMER WITHJOINT ATTENTION TO CNN论文阅读笔记

已于 2023-03-29 16:00:58 修改
阅读量150 收藏
点赞数
分类专栏： 论文阅读笔记 文章标签： cnn transformer 论文阅读
于 2023-03-28 17:35:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45788429/article/details/129820011
版权

 

 - ICCV 2021

 -本文主要工作：①提出了一种具有有效的局部增强位置编码的条带窗口自注意变压器

                           ②结合全局层和局部层的注意力

                           ③提出了一种新的HSV损失以增强颜色一致性

 - 网络结构

         如上图所示，给定一张256x256的失真图像和二进制mask并concat，输入到三个下采样的卷积层后，进行通道分割。一部分通道经过上半部分的“全局层”，即CSWIN变压器模块，获取全局的注意力。另一部分通道经过下半部分的“RRDB”,获取局部注意力和残差。而后通过联合注意力将两个通道的特征链接起来，再经过三个上采样层，得到结果。

主要工作：

 -Special CSWIN Transformer

- Redesigned CSWIN Block

-Residual Dense Block

- Joint attention

  

我来了！！！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文笔记：Residual Feature Distillation Network for Lightweight Image Super-Resolution
起风了丿的博客
01-29 1204
（1）受益于CNN强大的拟合能力，图像超分取得了极大的进展。尽管基于CNN的方法取得了极好的性能与视觉效果，但是这些模型难以部署到端侧设备(高计算量、高内存占用)。（2）为解决上述问题，已有各种不同的快速而轻量型的CNN模型提出，IDN(Information Distillation Network, IDN)是其中的佼佼者，它采用通道分离的方式提取蒸馏特征。然而，我们并不是很清晰的知道这个操作是如何有益于高效SISR的。
Segment Anything论文阅读笔记
qq_33690342的博客
04-07 1851
Segment Anything (SA) project: a new task, model, and dataset for image segmentation.we built the largest segmentation dataset to date (by far), with over 1 billion masks on 11M licensed and privacy respecting images. The model is designed and trained to b
【CV】Transformer相关的CV文章
fengdu78的博客
05-07 466
https://github.com/dk-liang/Awesome-Visual-Transformerhttps://github.com/IDEACVR/awesome-detection-transformer本文主要包含跟Transformer相关的CV文章，用简短的话来描述一下涉及到文章的核心idea。可以看作是vision transformer的idea...
【论文阅读笔记】Lightweight Image Super-Resolution with Enhanced CNN
时光机 °的博客
02-16 3240
论文地址：https://arxiv.org/abs/2007.04344 代码地址：https://github.com/hellloxiaotian/LESRCNN) 论文小结   本文的模型名字叫做 LESRCNN ，为lightweight enchanced SR CNN。目标与名字一样，想弄一个轻量级可以在端上推理的模型。作者的设备为 I7-7800 和 1080Ti，内存大小为16G，推理时长如下图所示。模型主体有23层卷积层，卷积核为3∗33*33∗3和1∗11*11∗1交替进行，看起来不小
【论文阅读】ESRT-Transformer for Single Image Super-Resolution
博客
04-28 1346
随着深度学习的发展，单图像超分辨率（SISR）取得了长足的进步。然而，大多数现有研究都侧重于构建具有大量层的更复杂的网络。最近，越来越多的研究人员开始探索 Transformer 在计算机视觉任务中的应用。但是，vision Transformer计算成本高、GPU显存占用高等问题也不容忽视。在本文中，我们提出了一种用于 SISR 的新型高效超分辨率变压器 (ESRT)。ESRT 是一种混合模型，由轻量级 CNN 骨干网 (LCB) 和轻量级变压器骨干网 (LTB) 组成。
论文阅读：STAR: A Structure-aware Lightweight Transformer for Real-time Image Enhancement
xwyljt的博客
04-22 5091
近来transformer在cv领域十分火热，但是将其用于low-level方面的文章并不多，本文发表于ICCV2021，在此对文章做一个解读，如有错误，请指正！
CNN+Transformer算法总结（持续更新）
热门推荐
qq_45752541的博客
08-19 4万+
CNN与Transformer融合的视觉框架介绍
最新 Visual Transformer 论文速览 （Attention Free Transformer，CeiT，DynamicViT）
u014546828的博客
06-10 2010
1.When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations
详解SwinIR的论文和代码（SwinIR: Image Restoration Using Swin Transformer）
BigerBang的博客
11-20 1583
SwinIR将Swin transformer1应用到low level领域的图像增强任务，结合卷积设计了网络结构，在以下三个任务上取得了很好的效果：图像超分辨率（包括classical、lightweight和real-world SR）、图像去噪（包括灰度图和彩色图像去噪）和 JPEG压缩失真去除。本文将结合代码对SwinIR进行详解。
Lite-Mono: A Lightweight CNN and Transformer Architecture for Se
05-10
一篇在2023年发表在CVPR上关于单目深度估计的论文
Learning Lightweight Lane Detection CNNs by Self Attention Distillation.pdf
04-20
Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals in- herent in lane annotations. Without learning from much richer context, these models ...
Lyn 1.8.9 – Lightweight image browser and viewer
05-10
Lyn is a lightweight and fast image browser and viewer designed for photographers, graphic artists and Web designers. Featuring an extremely versatile and aesthetically pleasing interface, it delivers...
Progressive Mimic Learning：Train Lightweight CNN Models
09-28
CNN轻量化的新工作
视觉SLAM相关论文和笔记.rar
02-18
在给定的压缩包文件"视觉SLAM相关论文和笔记.rar"中，我们可以推测包含了一些关于视觉SLAM的最新研究和技术。其中提到的几篇论文和方法，如LeGO-LOAM、VINS（Visual-Inertial Navigation System）以及BA（Bundle ...
【论文阅读】Characterization of Large Language Model Development in the Datacenter
weixin_46091520的博客
07-10 636
大语言模型（LLMs）在许多任务中表现出色。然而，要高效利用大规模集群资源开发LLM并非易事，常常伴随着频繁的硬件故障、复杂的并行化策略和资源利用不平衡等诸多挑战。为此，我们针对Acme GPU数据中心在为期六个月的LLM开发工作负载中所累积的跟踪数据，进行了一次深入的特征分析研究。我们特别探讨了LLM与以往深度学习（DL）工作负载之间的差异，研究了资源利用模式，分析了各种任务失败的影响，总结了所遇到的难题，并揭示了优化LLM系统的潜在机会。
Efficient Estimation of Word Representations in Vector Space论文笔记解读
m0_52775136的博客
07-09 388
将输出层的单词表示为一个二叉树，其中每个叶子节点都表示一个单词。每个非叶子节点都表示两个子节点的内积，每个叶子节点都表示该单词的条件概率。对于给定的一对（中心单词，上下文单词），我们希望最大化它们的共现概率。最后输出V个概率，复杂度比较高，采用了2重方法降低复杂度，分别是层次softmax和负采样。Word2vec的向量表示能够自动捕捉到单词之间的语义和语法关系。舍弃多分类，把多分类转变成二分类问题（正样本和负样本）。用周围词预测中心词，求和的时候忽略了每个词的顺序。增大正样本的概率，减小负样本的概率。
DELTA: DEGRADATION-FREE FULLY TEST-TIME ADAPTATION--论文笔记
最新发布
dezwb的博客
07-10 287
完全测试时间自适应旨在使预训练模型在实时推理过程中适应测试数据流，当测试数据分布与训练数据分布不同时，这种方法很有效。为提高适应性能作出了若干努力。然而，我们发现，在一些刘硎的的自适应方法中，如测试时批量归一化（BN）和自学习，隐藏了两个不利的缺陷。首先，我们指明了测试时间BN中的归一化统计量完全受当前接收的测试样本的影响，会导致不准确的估计。其次，我们证明了在测试时间自适应过程中，参数更新偏向于一些优势类。
【论文阅读】AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising
weixin_57974242的博客
07-07 488
简介：异步去噪并行化扩散模型。提出了一种新的扩散模型分布式加速方法，该方法在对生成质量影响最小的情况下显著降低了推理延迟。原理：用异步过程取代顺序去噪过程，允许去噪模型的每个组件在不同的设备上独立运行。动机：扩散模型的多步顺序去噪特性导致了高累积延迟，无法并行计算。AsyncDiff是一个通用的即插即用加速方案，可以跨多个设备实现模型并行，将噪声预测模型分成多个组件，并将每个组件分配给不同的设备。为了打破组件之间的依赖链，它利用连续扩散步骤中隐藏状态之间的高度相似性，将传统的顺序去噪转换为异步过程。
residual feature dis- tillation network for lightweight image super-resoluti
08-14
残差特征提取网络是一种轻量级图像超分辨率技术，它通过提取图像中的残差特征来实现图像的高分辨率重建。 该网络的关键思想是将低分辨率图像与其对应的高分辨率图像之间的差异作为特征来学习和恢复图像的细节信息。在训练过程中，网络首先将低分辨率图像输入到深度卷积神经网络中，提取出一系列特征图。然后，将这些特征图与预先生成的高分辨率图像之间的差异进行残差学习，得到残差特征图。最后，将低分辨率图像与残差特征图相加，得到最终的高分辨率重建图像。 相对于传统的超分辨率方法，该网络具有以下优点。首先，它采用了轻量级的网络结构，具有较低的模型复杂度和较快的推理速度，适用于移动设备等资源有限的场景。其次，通过残差学习，网络能够更好地恢复图像的细节信息，提升图像质量。此外，该网络在训练过程中还引入了特征蒸馏技术，能够更好地优化网络参数，并提高网络的鲁棒性和泛化能力。 总而言之，残差特征提取网络是一种轻量级图像超分辨率技术，通过提取低分辨率图像与高分辨率图像之间的差异来学习和恢复图像的细节信息。它具有模型简单、高效快速和图像质量提升等优点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值