论文阅读——Reduce Information Loss in Transformers for Pluralistic Image Inpainting-CVPR 2022

已于 2023-02-19 10:21:54 修改
阅读量1.2k 收藏 10
点赞数 6
分类专栏： 论文 文章标签： 论文阅读 深度学习 人工智能
于 2022-11-20 11:00:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51426525/article/details/127942380
版权

原文链接：

[2205.05076] Reduce Information Loss in Transformers for Pluralistic Image Inpainting (arxiv.org)

代码链接：

liuqk3/PUT: Paper 'Reduce Information Loss in Transformers for Pluralistic Image Inpainting' in CVPR2022 (github.com)

本文创新点：

  1. 提出了patch-based auto-encoder(P-VQVAE)，在VQVAE的基础上将patch作为输入；
  2. 提出了Un-Quantized Transformer(UQ-Transformer)，直接将P-VQVAE编码器的特征作为输入，不进行量化，减少信息的损失。

目录

网络结构

P-VQVAE

patch-based encoder

Dual-Codebook

Multi-Scale Guided Decoder

训练P-VQVAE

UQ-Transformer

 训练UQ-Transformer 

 网络结构

网络整体由P-VQVAE和UQ-Transformer两个部分构成。

P-VQVAE

作用：避免输入下采样的信息丢失，同时保证transformer的计算效率。

P-VQVAE主要由三个部分组成：patch-based encoder、dual-codebook 和multi-scale guided decoder。

patch-based encoder

编码器由几个线性层构成，首先将图像划分成个patch（r为patch的大小，默认为8），然后将每个patch展平，并投影到一个特征向量中。特征向量可以用下式表示：

其中，C为特征向量的维度（默认为256），ε(•)为编码操作。

对于每个patch，如果包含缺失像素，则成为masked patch，否则为unmasked patch。

Dual-Codebook

双码本由两个部分构成，负责unmasked patch特征向量的映射，负责masked patch特征向量的映射（K和K'为潜在向量的个数）。在测试阶段，只用码本e去修复缺失区域，码本e'是不用的。

其中，m↓为1代表unmasked patch，0代表masked patch，㊀代表元素相减，

，为特征向量的量化向量和tokens。

Multi-Scale Guided Decoder

设为transformer修复的token，是基于码本中检索到的量化向量，

为修复图像，为输入的掩码图像。

解码器有两个分支：一个是从量化向量开始的主分支，使用几个反卷积层来生成修复图像，另一个是参考分支，从掩码图像中提取多尺度特征图。参考分支的主要作用就是保证掩码图像中已有的像素值保持不变。

对于一次掩码和二次掩码以外的特征，使用原始特征；对于二次掩码部分的区域，使用量化后的特征，用来训练码本e。 

参考分支的特征通过Mask Guided Addition (MGA)与主分支进行特征融合：

其中，是主分支的特征，是参考分支的特征，大小为。

训练P-VQVAE

在训练P-VQVAE的时候，会用随机掩码m'去除中的一些像素当做参考分支的输入。

训练损失

为commitment loss，主要是约束encoder的输出和embedding空间保持一致，以避免encoder的输出变动较大（从一个embedding向量转向另外一个）。

为codebook loss，sg指的是stop gradient操作，这意味着这个L2损失只会更新embedding空间，而不会传导到encoder。在实际操作中使用指数移动平均（exponential moving averages，EMA）来更新embedding空间，采用EMA这种更新方式往往比直接采用L2损失收敛速度更快。在每次迭代 t 时，潜在向量更新为

其中，为中分配给的特征向量，为为特征向量的个数，γ为衰减参数，实验中设为0.99。

UQ-Transformer

Transformer的输入是encoder输出的特征，而不是离散的token，输出是masked token属于码本中向量的概率，目的是避免量化引入信息损失。

 训练UQ-Transformer 

在训练transformer时，需要将30%的特征向量随机量化为码本中的潜在向量，然后输入到transformer中。因为在测试阶段只有第一次输入的特征是编码器输出的特征，随着迭代进行，越来越多的掩码区域被码本中的特征替代。 

 其中，，为ground-truth tokens。

消融实验

第二张图为：用卷积编码器代替线性编码器；

第三张图为：只使用一个码本进行训练、测试；

第四张图为：解码阶段不使用参考分支；

第五张图为：输入transformer中的特征为tokenize的，而不是编码器输出的特征；

第六张图为： 训练transformer时，没有将特征向量随机量化为码本中的潜在向量。

 VQVAE参考生成模型之VQ-VAE - 知乎 (zhihu.com)

keep--learning
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ConvNext模型复现--CVPR2022
冲出仁川，走出马德里，故事还会再继续
09-06 1935
ConvNet和Vision Transformer的ImageNet分类结果。我们证明了标准的 ConvNet 模型可以实现与分层视觉 Transformer 相同的可扩展性，同时在设计上要简单得多。视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，普通的 ViT 在应用于目标检测和语义分割等一般计算机视觉任务时面临困难。
Paper - VQGAN: Taming Transformers for High-Resolution Image Synthesis 简读
Mystra
02-06 982
本文获得一个有效和富有表现力的模型的关键启发是，卷积和Transformer架构结合起来，可以建模视觉世界的组合性质：本文使用卷积方法来高效地学习一个包含丰富上下文的视觉部件的码本，然后学习一个全局组合的模型。这些组合中的长距离交互，需要一个富有表现力的Transformer架构，来建模其构成视觉部件的分布。此外，本文利用对抗方法，来确保局部部件的字典，捕捉到感知上重要的局部结构，从而减轻了用Transformer架构建模低级统计的需要。让Transformer专注于独特优势——建模长距离关系——使它们能够
#今日论文推荐# CVPR 2022 | 图像修复,中科大&微软提出PUT：减少Transformer在图像修复应用中的信息损失
w1hsxn的博客
05-20 565
#今日论文推荐# CVPR 2022 | 图像修复！中科大&微软提出PUT：减少Transformer在图像修复应用中的信息损失 本文主要的任务是图像修复，即输入的图片是残缺的，通过算法根据提供的残缺图片来补全图片中残缺的部分。早期的一些工作所利用的模型，一般都是基于CNN实现的。由于CNN具有一定的位置偏置等因素，导致其修复的图片可视化效果并不理想。近两年，随着Transformer在计算机视觉领域的巨大成功，一些研究人员开始利用Transformer来进行图像修复，并取得了非常不错的效果。然而
论文笔记-Random Shifting for CNN: a Solution to Reduce Information Loss in Down-Sampling Layers
Lyndsey的博客
11-17 590
Hello，今天是论文阅读计划的第12天啦，快过半了哦～ 今天为大家介绍的这篇论文，主要说的是在下采样层通过加入随机转换的操作，可以减少信息损失而提升精度，并且不增加任何多的计算量。 一、 方法 随机移位可以应用于任何下采样层，以减少信息损失。只要特征图上的核步距大于1，随机移位的可用域就不为空。在训练的每次迭代中，我们从可用的随机移位域中随机选择一个作为偏移量。 算法1描述了随机移位的过程： 随机移位可以进一步增强最大池化层和交错卷积层的变换不变性，因为随机策略通过在特征图上移位核中心来扩展感受野。具有
探索图像修复新境界：Reduce Information Loss in Transformers
最新发布
gitblog_00023的博客
06-06 843
探索图像修复新境界：Reduce Information Loss in Transformers 项目地址:https://gitcode.com/liuqk3/PUT 在这个数字化时代，我们经常面临图片损坏或部分缺失的问题。Reduce Information Loss in Transformers for Pluralistic Image Inpainting 是一个创新的开源项目，旨...
CVPR 2022 | 图像修复！中科大&微软提出PUT：减少Transformer在图像修复应用中的信息损失...
阿木寺的博客
05-19 7105
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达图1 本文方法和现有方法的一些对比结果本文介绍我们在CVPR 2022发表的用于图像修复的工作。该工作是基于当前流行的Transformer实现的，目的是减少Transformer在应用到图像修复过程中的一些信息损失，从而提升模型修复图片的质量。目前论文和代码都已经公开，欢迎大家试用交流。论文标题: Re...
Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand(2022)
change_lkl的博客
04-18 383
本文认为通过生成的结构和纹理可以更好地判断修复算法的性能。结构是指生成的物体边界或清晰的几何结构，纹理是指高频细节，尤其是填充在结构区域内部的人造重复图案。本文认为更好的结构通常是从从粗到细基于GAN的生成器网络，重复模式可以被更好塑造使用高频快速傅立叶卷积层。在本文提出了一种结合两种设计优点的新型修复网络。因此，本文的模型在使用单个网络的结构生成和重复纹理合成方面实现了显著的视觉质量，以匹配最先进的性能。本文的结论进一步强调了图像修复质量的两个关键因素，结构和纹理，作为未来修复网络的设计方向。
探索创新之美：`Pluralistic-Inpainting` - 多样性图像修复技术
gitblog_00049的博客
04-14 347
探索创新之美：Pluralistic-Inpainting - 多样性图像修复技术 项目地址:https://gitcode.com/lyndonzheng/Pluralistic-Inpainting 在数字艺术和图像处理领域，Pluralistic-Inpainting 是一个引人注目的开源项目，由开发者 Lyndon Zheng 创建。该项目利用深度学习技术实现了多样性的图像修复功能，为用...
3D重建论文阅读-CVPR2022（1-2)
fushanshizhe的博客
04-11 867
摘要 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录摘要前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pa
Class-Aware Generative Adversarial Transformers for Medical Image Segmentation---用于医学图像分割的类感知生成对抗变换
lxw_7754821的博客
10-20 1812
本文介绍了Castformer,一种简单而有效的生成对抗变换器，用于二维医学图像分割。 其关键洞察是集成多尺度金字塔结构，捕捉丰富的全局空间信息和局部多尺度上下文信息。
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
07-18
标题 "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 提供的信息是关于一个自然语言处理（NLP）模型，该模型基于Sentence Transformers库，并且是多语言版本的。Sentence Transformers是一个Python...
【2022.1自蒸馏】ADAPTIVE IMAGE INPAINTING自适应图像修复简要概述
qq_22497977的博客
02-18 2145
【2022.1自蒸馏】ADAPTIVE IMAGE INPAINTING 自适应图像修复 提出交叉蒸馏+自蒸馏 cross (inter-network) and self (intra-network) distillation 交叉蒸馏：从包含缺失区域特征的完整信息的辅助网络转移知识，将一个现成的未完成的自编码器训练去重构GT（Ground Truth地面实况）图像 ...
Pluralistic- Inpainting 图像修复报错 cuda(self.opt.gpu_ids[0], async=True) ^ SyntaxError: invalid syntax
机器视觉爱好者的博客
08-08 2769
直接上报错的图： 解决方案： python3.7已经移除了async关键字，而用non_blocking代替。 cuda() 本身也没有async. 构造函数如下： cuda(device=None, non_blocking=False) → Tensor 在Pluralistic- Inpainting中有两个文件，共计四处需要修改： 文件为：model/pluralisti...
ImageInpaint：图像修复
Fantastic
04-26 2705
文章目录前言传统方法深度学习参考 前言 传统方法 Year Proceeding Title Tag 2000 SIGGRAPH 2000 Image Inpainting [pdf] Diffusion-based 2001 TIP 2001 Filling-in by joint interpolation of vector fields and gray levels [pdf] Diffusion-based 2001 CVPR 2001 Navier-stokes, fl
生成模型之VAE与VQ-VAE
m0_56214772的博客
03-23 4239
有关图像处理的课程作业需要学习一篇论文，此论文中作者使用了VQ-VAE模型对舞蹈动作进行编码。因此，对相关知识略作整理以供之后查找。AE、VAE和VQ-VAE可以统一为latent code的概率分布设计不一样，AEr通过网络学习得到任意概率分布，VAE设计为正态分布，VQVAE设计为codebook的离散分布。
Paper - VQ-VAE (Vector Quantised Variational AutoEncoder) 的实现源码
Mystra
01-30 1227
VQ-VAE，即Vector Quantized Variational AutoEncoder，向量量化变分自编码器。VQ-VAE 的创新之处是引入了一个向量量化（VQ）层，将连续的编码器输出映射到离散的潜在空间。VQ层由一组可学习的向量组成，称为代码本（Codebook）。每个编码向量都会被替换为代码本中与最近的向量，从而实现量化。这样，VQ-VAE 可以把图片编码成离散向量。
Pluralistic Image Completion
sunlum的博客
06-19 4596
这是CVPR2019年的一篇论文，文章主要做的是从多元化的层面对图像进行修补。以下内容仅为自己看完文章所做的笔记，不喜勿喷，理解有误往提出改正。 一、 摘要 对于每个masked输入，大多数图像修补方法只能产生一个结果，但事实上，可能存在很多合理性的结果。这篇文章提出了一种多元图像修补方法 ...
【ICCV2021】文章、代码和数据链接
qq_36717487的博客
04-16 1776
Awesome-ICCV2021-Low-Level-Vision A Collection of Papers and Codes for ICCV2021 Low Level Vision and Image Generation 整理汇总下2021年ICCV中图像生成（Image Generation）和底层视觉(Low-Level Vision)任务相关的论文和代码，包括图像生成，图像编辑，图像风格迁移，图像翻译，图像修复，图像超分及其他底层视觉任务。大家如果觉得有帮助，欢迎star~~ 参考或转载
reduce information loss in transformers for pluralistic image inpainting
03-16
为了减少多元化图像修复中的信息损失，可以采用以下方法： 1. 使用更大的Transformer模型，以增加模型的容量和表达能力，从而更好地保留图像的细节和多样性。 2. 在训练数据中增加更多的多样性图像，以使模型更好...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值