CVPR2022会议论文，关于transformer的文献阅读笔记

mathematican

已于 2022-06-21 21:07:48 修改

阅读量1.2k

点赞数 1

分类专栏： DeepLearning CV ImageProcessing 文章标签： transformer 深度学习人工智能

于 2022-06-21 20:40:17 首次发布

本文链接：https://blog.csdn.net/mathematican/article/details/125397964

版权

DeepLearning 同时被 3 个专栏收录

12 篇文章 0 订阅

订阅专栏

12 篇文章 0 订阅

订阅专栏

ImageProcessing

4 篇文章 0 订阅

订阅专栏

Transformer文章阅读笔记

Vision Transformer With Deformable Attention. CVPR， 2022.

作者： Zhuofan Xia, Xuran Pan, Shiji Song, Li Erran Li, Gao Huang.
Remark: Deformable Attention Transformer. 提出一种可变形自注意力模块，key and value对儿以数据依赖的方式来选择。
DAT的在图像上的作用效果视觉展示如下图：
在这里插入图片描述
DAT中的deformable attention module结构如下图

其中的Off-set network如下图所示

完整的DAT网络架构如图下
DAT architecture

Uformer: A General U-Shaped Transformer for Image Restoration

Zhendong Wang, Xiaodong Cun, Jianmin Bao, Wengang Zhou, Jianzhuang Liu, Houqiang Li
remark:
文章贡献：

locally-enhanced window (LeWin) Transformer block,
a learnable multi-scale restoration modulator in the form of a multi-scale spatial bias
数值实验测试的例子：
image denoising,
motion deblurring,
defocus deblurring and deraining.
code link

Uformer的结构图
在这里插入图片描述

Uformer主要构成部件 LeWin Transformer block的结构如下
在这里插入图片描述
Window-based multi-head self-attention (W-MHA)
W-MHA架构图

StyleSwin: Transformer-Based GAN for High-Resolution Image Generation

Bowen Zhang, Shuyang Gu, Bo Zhang, Jianmin Bao, Dong Chen, Fang Wen, Yong Wang, Baining Guo
Remark：提出一种高分辨率图像生成模型。提出利用a wavelet discriminator解决生成图像有块状伪影。
实验结果展示
在这里插入图片描述
基础transformer block结构图

风格注入(stype injection)网络结构

双注意力结构，扩展视野

由于采用了window-based attention,生成图像产生块状伪影

多尺度小波谱辅助判别器设计