论文精度 —— 2016 CVPR 《Context Encoders: Feature Learning by Inpainting》

已于 2023-01-09 10:28:14 修改
阅读量819 收藏 2
点赞数 2
分类专栏： 人工智能论文精度 Inpainting 文章标签： 人工智能 计算机视觉 深度学习
于 2022-08-08 22:26:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51339444/article/details/126236338
版权
本文介绍了2016年CVPR论文《Context Encoders: Feature Learning by Inpainting》，该研究引入了上下文编码器进行特征学习，通过结合L2重建损失和对抗损失实现图像的精确修复。使用AlexNet作为编码器，通道级全连接层减少参数量，同时探讨了不同掩码方式的影响。尽管在语义修复上有进步，但在纹理处理上仍有局限。
摘要由CSDN通过智能技术生成

总述

这篇paper是新时代人工智能CV中的Inpainting领域中的开山之作，之前的超级传统的方法是通过在图像补丁的庞大的素材库中寻找合适的补丁来填充缺失区域，非常不可靠，如下图所示：
在这里插入图片描述
如上图所示，可以看到几乎完全没有可信度。作者受到了自动编码器的启发，创新性地提出了上下文编码器进行特征的学习，并对损失函数进行了调整，将L2重建损失函数和对抗损失进行融合，使得该工作既连贯又清晰。此外，还分别验证了三种掩码方式：(a) Central region (b) Random block © Random region，并在Paris StreetView Dataset.和 ImageNet 数据集上验证了效果。
注：作者说自动编码器不能进行语义层面的学习，这是缺点所在

一、方法详述

0. Overall

编码器获取具有缺失区域的输入图像并生成该图像的潜在特征表示。解码器采用此特征表示并产生丢失的图像内容。

1. Encoder（编码器）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
根据指定的原始图像和掩码图像，生成一个圆形图像
m0_46376834的博客
10-22 314
否则，将根据指定的`maskSize`对`mask`进行缩放操作，使用`Qt::KeepAspectRatio`和`Qt::SmoothTransformation`参数来保持图像的长宽比并平滑地进行转换。之后，创建一个与掩码尺寸相同的`QImage`对象`resultImage`，像素格式设置为`QImage::Format_ARGB32_Premultiplied`，以实现更清晰的图像。首先，该函数接受三个参数：原始图像`src`、掩码图像`mask`和掩码尺寸`maskSize`。
论文精度 —— 2018 CVPR《Generative Image Inpainting with Contextual Attention》
m0_51339444的博客
08-26 912
Recent deep learning based approaches have shown promising results for the challenging task of inpainting large missing regions in an image. These methods can generate visually plausible image structures and textures, but often create distorted structures
Context_Encoders_Feature_Learning_by_Inpainting.pdf
03-30
基于上下文的编码器：图像修复的特征学习 We present an unsupervised visual feature learning algo- rithm driven by context-based pixel prediction. By analogy with auto-encoders, we propose Context Encoders – a con- volutional neural network trained to generate the contents of an arbitrary image region conditioned on its surround- ings. In order to succeed at this task, context encoders need to both understand the content of the entire image, as well as produce a plausible hypothesis for the missing part(s). When training context encoders, we have experi- mented with both a standard pixel-wise reconstruction loss, as well as a reconstruction plus an adversarial loss. The latter produces much sharper results because it can better handle multiple modes in the output. We found that a con- text encoder learns a representation that captures not just appearance but also the semantics of visual structures. We quantitatively demonstrate the effectiveness of our learned features for CNN pre-training on classification, detection, and segmentation tasks. Furthermore, context encoders can be used for semantic inpainting tasks, either stand-alone or as initialization for non-parametric methods.
Context Encoders: Feature Learning by Inpainting
qq_40700490的博客
08-03 2564
1. Encoder-decoder pipeline Context encoder trained with joint reconstruction and adversarial loss for semantic inpainting Context encoder trained with reconstruction loss for feature learning by filling in arbitrary region dropouts in the input 该文.
自监督学习（六）Context Encoders: Feature Learning by Inpainting
weixin_47444348的博客
05-05 3375
Context Encoders: Feature Learning by InpaintingIntroductionMethodEncoder-Decoder Pipeline损失函数ExperimentsConclusion Introduction 在这这篇文章中，作者提出了Context Encoders，利用图像修复（Inpainting）的方法，学习图像中的上下文信息。图像是自监督...
Context Encoders: Feature Learning by Inpainting 论文笔记
weixin_43399489的博客
07-18 556
该网络简称CE，模型的整体架构是一个编码器-解码器。
论文笔记|Context Encoders: Feature Learning by Inpainting
qq_51403141的博客
09-13 1691
论文笔记|Context Encoders: Feature Learning by Inpainting
论文精度 —— 2017 CVPR《High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis》
m0_51339444的博客
08-10 927
论文精度 —— 2017 CVPR《High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis》
论文精度 —— 2017 ACM《Globally and Locally Consistent Image Completion》
m0_51339444的博客
08-09 791
论文精度 —— 2017 ACM《Globally and Locally Consistent Image Completion》
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
上下文编码器：[CVPR 2016]使用GAN通过图像修复进行无监督特征学习
02-03
上下文编码器：[CVPR 2016]使用GAN通过图像修复进行无监督特征学习
《Context Encoders: Feature Learning by Inpainting》 opencv图像修复Image Inpating论文解读
m0_56937307的博客
03-24 3989
基于上下文像素预测驱动的无监督的视觉特征的学习算法，利用周围的图像信息来推断缺失的图像 所构建网络的主要思路是结合Encoder-Decoder网络结构和GAN，Encoder-Decoder阶段用于学习图像特征和生成图像待修补区域对应的预测图，GAN部分用于判断预测图来自训练集和预测集的可能性，当生成的预测图与GroundTruth在图像内容上达到一致，并且GAN的判别器无法判断预测图是否来自训练集或预测集时，就认为网络模型参数达到了最优状态。 编码器的结构采用了部分Al...
[论文阅读笔记]图像修复篇：Context Encoders: Feature Learning by Inpainting 2016CVPR
m0_37412775的博客
04-27 4374
Context Encoders: Feature Learning by Inpainting 2016CVPR 文章下载链接：https://openaccess.thecvf.com/content_cvpr_2016/papers/Pathak_Context_Encoders_Feature_CVPR_2016_paper.pdf 基于pytorch代码下载：https://github.com/eriklindernoren/PyTorch-GAN 基于tensorflow代码下载：htt
Context Encoders: Feature Learning by Inpainting论文阅读笔记
不要回答的博客
10-19 491
论文原文： Context Encoders: Feature Learning by Inpainting 摘要：提出了一种基于上下文像素预测的无监督视觉特征学习算法 论文解读：https://zhuanlan.zhihu.com/p/54070291（知乎大佬写的很不错，直接看这个就可以） 对于语义信息和卷积神经网络的理解看这篇文章：https://www.jianshu.com/p/daff0d28b07d ...
Context Encoders: Feature Learning by Inpainting 阅读笔记
feitianlzk的博客
08-31 8737
Github 目录 1. 介绍 2. 架构 3. 数据生成 1. 介绍 无监督学习， 图像修复 学习深层特征 通过下图可以看到效果很好 2. 架构 link 采用类似encoder-decoder架构, L2 loss使图片重建相近，adversarial loss使图片清晰 encoder和decoder之间使用channel-wis...
Context Encoders:Feature Learning by Inpainting（2016）
qq_48387055的博客
11-15 294
本文提出一种基于上下文像素预测驱动的无监督视觉特征模型——一种经过训练的卷积神经网络，用于根据周围环境生成任意图像区域的内容。训练中遇到的两种损失：标准像素重建损失和重建加对抗损失。CE的学习表示不仅可以捕捉外观，还可以捕捉视觉结构的语义。
Context Encoders: Feature Learning by Inpainting论文阅读
weixin_42835514的博客
11-04 2742
这里写目录标题写在前面问题及方法网络结构Encoder-decoder pipeline编码部分Channel-wise fully-connected layer解码部分Adversarial Discriminator损失函数创新点 写在前面 本身小白，只跑过pytorch官网教程的60分钟快速入门。因人工智能有任务是复现论文算法，所以小组内找了这篇有源码的文章来完成任务。 自身对该论文内很多东西也不是很懂，但毕竟第一次详细阅读论文，故记录于此。 源码：torch版本 Pytorch版本 问题及方法 该
Context Encoders: 特征学习通过补全的PyTorch实现
最新发布
gitblog_00894的博客
08-08 972
Context Encoders: 特征学习通过补全的PyTorch实现 context_encoder_pytorchPyTorch Implement of Context Encoders: Feature Learning by Inpainting项目地址:https://gitcode.com/gh_mirrors/co/context_encoder_pytorch 项目介绍 Co...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天使Di María

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值