Generative Image Inpainting with Contextual Attention论文阅读笔记

于 2023-08-25 18:15:29 发布
阅读量55 收藏
点赞数
文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45929435/article/details/132136307
版权

这是一篇2018年发表在CVPR上的论文，作者机构是University of Illinois at Urbana-Champaign（UIUC）和Adobe Research。
网络框架如下：
在这里插入图片描述
先用Coarse network进行粗略的修复，再用Refinement network进行精细的修复。其中Refinement network用到了contextual attention layer。
在这里插入图片描述
主要方法是将非缺失区域reshape成卷积核，对缺失区域进行卷积，计算出匹配分数，再进行softmax。得到每个像素的attention score后，再进行反卷积，得到修复后的图像。
在这里插入图片描述
Refinement Network由两个网络拼接而成，上层通过contextual attention layer来生成相应的attention map，在attention map color coding中，白色代表关注该区域本身，粉色代表关注像素左下角的部分，绿色代表关注像素右上角的部分。下层是一个Dialated conv层，这个编码器与coarse network里的一样。

参考文献：

  1. Generative Image Inpainting with Contextual Attention
橙逸弦木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文解读】Generative Image Inpainting with Contextual Attention
weixin_37767666的博客
10-18 728
摘要 contextual attention layer 一些train的技巧 网络结构 Coarse-to-Fine 由粗到细 Contextual Attention Layer CA Layer能够学习修复过程中所依赖的特征位置，而且可端到端训练。 ...
图像修复DeepFillv1：Generative Image Inpainting with Contextual Attention（CVPR2018）
weixin_42923416的博客
10-04 1742
Paper：https://arxiv.org/pdf/1801.07892.pdf Code：https://github.com/JiahuiYu/generative_inpainting/tree/v1.0.0 基于 S. Iizuka, E. Simo-Serra, and H. Ishikawa. Globally and locally consistent image completion. ACM Transactions on Graphics (TOG), 36(4):107, 201
CVPR2018: Generative Image Inpainting with Contextual Attention 论文翻译、解读
weixin_34270865的博客
11-22 501
注：博主是大四学生，翻译水平可能比不上研究人员的水平，博主会尽自己的力量为大家翻译这篇论文。翻译结果仅供参考，提供思路，翻译不足的地方博主会标注出来，请大家参照原文，请大家多多关照。 转载请务必注明出处，谢谢。 0. 译者序 　　题目翻译：基于内容感知生成模型的图像修复 　　介绍：这篇文章也被称作deepfill v1，作者的后续工作 "Free-Form Image Inpain...
【深度学习】【Image Inpainting】Generative Image Inpainting with Contextual Attention
最新发布
q742971636的博客
07-25 639
最近基于深度学习的方法在绘制图像中大块缺失区域的挑战性任务上显示出了有希望的结果。这些方法可以生成视觉上可信的图像结构和纹理，但往往会产生扭曲的结构或与周围区域不一致的模糊纹理。这主要是由于卷积神经网络在明确地从distant spatial locations借用或复制信息时无效。另一方面，当需要从周围区域借用纹理时，传统的纹理和斑块合成方法尤其适用。
论文解析Generative Image Inpainting with Contextual Attention
weixin_42360095的博客
06-17 5216
https://www.cnblogs.com/bingmang/p/10000992.html
generative_inpainting-master.zip
09-02
本文将详细介绍"Generative Image Inpainting With Contextual Attention"论文所提出的生成式图像修复方法，并结合"generative_inpainting-master.zip"压缩包中的源代码进行解析。 该论文的核心思想是利用生成式...
generative-inpainting-pytorch:PyTorch重新实现具有上下文注意的纸张生成图像修复（https
05-24
生成绘画火炬 根据作者的，对PyTorch重新。 先决条件 该代码已经在Ubuntu 14.04上进行了测试，以下是需要... --image examples/imagenet/imagenet_patches_ILSVRC2012_val_00008210_input.png \ --mask examples/cen
generative_inpainting：具有上下文注意和门控卷积的DeepFill v1v2，CVPR 2018和ICCV 2019 Oral
02-06
生成图像修复 一个用于生成图像修复任务的开源框架，并得到（CVPR 2018）和（ICCV 2019 Oral）的支持。 有关先前版本（DeepFill v1）的代码，请检出分支 。 | | | | | | 我们构建在门控卷积上的系统可实现自由...
High resolution SAR image synthesis with hierarchical generative adversarial networks
02-07
High resolution SAR image synthesis with hierarchical generative adversarial networks
Inpainting of Remote Sensing SST Images with Deep Convolutional Generative-发表论文
01-04
Inpainting of Remote Sensing SST Images with Deep Convolutional Generative-发表论文
论文精度 —— 2018 CVPR《Generative Image Inpainting with Contextual Attention》
m0_51339444的博客
08-26 843
Recent deep learning based approaches have shown promising results for the challenging task of inpainting large missing regions in an image. These methods can generate visually plausible image structures and textures, but often create distorted structures
contextual Attention
qq_26815239的博客
10-25 3518
参考文献：http://jiahuiyu.com/deepfill/ 2.2. Attention Modeling 在深度卷积网络中，有许多关于学习空间注意力(spatial attention)的研究。这里我们选择回顾一些有代表性且与本文提出的contextual attention相关的工作。Jaderberg等人首先提出了一个参数空间注意模块叫做spatial transforme...
[GAN]Generative Image Inpainting with Contextual Attention论文阅读
“知识最大的敌人不是无知，而是错觉”
10-31 515
1 论文简介 Generative Image Inpainting with Contextual Attention是UIUC的Jiahui Yu在Thomas S. Huang的指导下，联合Adobe Research完成的一项工作，发表于CVPR 2018。 作者在Iizuka等人提出的Globally and locally consistent image completion工作的基础上进行改进（Improved Generative Inpainting Network），并提出Co
图像修复论文“Generative Image Inpainting with Contextual Attention”
Najlepszy的博客
04-15 1732
作者发现在图像修复问题中，因为卷积神经网络无法从图像较远的区域提取信息，所以在修复区域的边界，经常会生成扭曲的结构和模糊的图像，而传统的纹理和斑块（patch）的修复能取得比较好的效果，因为他们只需要从周围区域借鉴图像。 　　作者基于上述这些现象，提出了一种新的基于深度生成模型的方法，不仅可以生成新的图像结构，还能够很好地利用周围的图像特征作为参考，从而做出更好的预测。 　　作者提出了一个带有内容...
深度学习笔记——Attention Model（注意力模型）学习总结
热门推荐
mpk_no1的博客
08-06 15万+
Attention Model（注意力模型）学习总结，包括soft Attention Model，Global Attention Model和Local Attention Model，静态AM，强制前向AM的一些介绍，以及AM具体实现公式的几个变体及介绍，最后附上了自己用keras实现的一个静态AM的代码。
图像修复 deepfill v2： Free-Form Image Inpainting with Gated Convolution ------ 使用多GPU进行训练
qq_26815239的博客
09-11 1万+
Free-Form Image Inpainting with Gated Convolution 是JIAHUI YU 大神最新的图像修复文章，可以用来修复含不规则mask的图像，也称deepfill v2。改版代码还没开放，但有很多人复现了，GitHub上找到一个复现的代码：https://github.com/avalonstrel/GatedConvolution。感谢大神的复现，让我...
Generative Image Inpainting with Contextual Attention
qq_37937847的博客
04-19 1842
1. Introduction 基于卷积的修复方法通常可能会造成边界人造视觉，结构扭曲，纹理模糊、与周围区域不一致性的修复结果。 作者认为，这是卷积神经网络在建模远距离的上下文信息与缺失区域之间长距离相关的无效性。例如为了让一个像素被原始图片上64x64个像素所影响，那么至少需要6层的3x3的卷积核并且空洞卷积参数为2.而空洞卷积是规则对称的进行取样特征，不能去权衡哪些像素点是有用的哪些是无用的。最近有一篇文章 High-resolution image inpainting using multi-sca
论文阅读及代码运行--Free-Form Image Inpainting with Gated Convolution
Miao的博客
11-26 6375
1、前言 从传统的图像修复方法，如经典算法PatchMach，到基于CNN的图像修复方法，修复的结果越来越更加真实和合理，如GL。但是图像修复本身就是一个高度病态的问题，有太多的主观性。之前修复的方法，更多的是解决规则的中心缺失图像修复，而针对不规则图像的缺失解决办法较少，即使是CA模型也是规则缺失图像的修复。 于是NVIDIA首次提出了使用部分卷积PartialConv来修复不规则孔缺失的图像，...
Image Blind Denoising With Generative Adversarial Network Based Noise Modeling
05-05
该论文提出了一种基于生成对抗网络的噪声建模的图像盲去噪方法。传统的图像去噪方法需要事先了解噪声的统计特性，但在实际应用中很难获得这些信息。本文提出的方法使用生成对抗网络来建模噪声分布，从而可以对任意类型的噪声进行去噪。该方法包括两个阶段：第一阶段使用生成对抗网络训练噪声模型，第二阶段使用该模型对输入图像进行去噪。实验结果表明，该方法在去除多种类型的噪声方面表现出色，同时避免了传统方法中需要事先了解噪声统计特性的限制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值