图像修复
文章平均质量分 93
halo_小怪兽
视觉算法工程师
展开
-
SwinIR_Image Restoration Using Swin Transformer论文阅读分享
论文连接:https://arxiv.org/abs/2108.10257Abstract本篇文章的图像修复指的是从低质量图片恢复到高质量图片(例如超分,去噪,解压缩图片),目前主流先进的图像修复任务都是基于卷积做的,很少有人尝试用transformer做高性能的高级视觉任务。而本篇文章主要就是基于Swin_transformer做的,本方法命名为SwinIR。该方法包含三个部分:浅层特征提取器、深层特征提取器、高质量图像重建模块,针对不同的图像修任务,图像重建模块略有不同。特别的是,深层特征提取器是基原创 2021-08-31 09:40:12 · 2203 阅读 · 0 评论 -
图像修复_LaFIn_Generative Landmark Guided Face Inpainting
Abstract提出了一个深度学习策略来修复人脸图像,这个网络由两个部分组成,一个是人脸关键点预测子网络,该网络的目的是给另一个网络提供人脸的结构信息(破损人脸图像的人脸拓扑信息,表情信息)。另一个是图像修复网络,该网络的目的是修复出符合真实外观的人脸图像。该人脸图像修复方法在数据集CelebA-HQ和CelebA上进行了实验。Introduction人脸图像相比较海洋、草地等自然风景图像具有更强的拓扑结构和更强的局部连贯性,因此修复人脸图像任务更具挑战性。传统的修复方法:diffusion-ba.原创 2021-08-25 08:48:19 · 1119 阅读 · 0 评论 -
(门控卷积实现)DeepFillv2(图像修复):Free-Form Image Inpainting with Gated Convolution,pytroch代码实现
deepfillv2的动机 结合了几乎所有的目前先进的图像修复技术,基于部分卷积提出了门控卷积,结合了CA中的注意力机制,根据 Adversarial Edge图像修复中的边缘信息先验提出了用户可交互的草图先验信息。基于spectral-normallized GAN 提出了 SN-PatchGAN 鉴别器,本文所用的损失函数只有l1 重建损失和 SN-PatchGAN损失.1. Gated Convolution为了介绍门控卷积,得先提提部分卷积,对于分类、分割等任务,网络的输入像素是全部有效的,原创 2021-07-21 18:39:17 · 11210 阅读 · 9 评论 -
论文阅读以及pytorch源码详解-image-inpainting-via-generative-multi-column-convolutional-neural-networks-Paper
1. 动机(motivation)1.针对如何提取到图像合适特征的问题,本文提出了多个分支的卷积分支,每个分支采用不同的感受野,并将图像分解成不同的感受野2.针对如何为缺失区域寻找相似的patch,本文提出了马尔可夫随机场(ID-MRF)项,3.针对缺失区域的修复结果有很多可能性的结果,提出了新的置信驱动的重建损失(与空间衰减损失类似),根据缺失区域的空间位置约束生成的内容2.具体方法训练的是一种端到端的方式,输入是X破损的图片和掩码M,缺损的区域的填充值为0,M是二进制掩码,0 代表已知的像素原创 2021-05-22 16:12:04 · 1348 阅读 · 0 评论 -
论文阅读详解-Image Inpainting for Irregular Holes Using
文章目录1.本文的出发点(motivation)2.本文的实现方法2.1 部分卷积层2.2本文采用的网络架构3.本文的损失函数3.1逐像素重建损失3.2感知损失(perceptual loss)3.3风格损失(style loss)3.4 TV loss(total variation loss)3.5总损失4参考文献1.本文的出发点(motivation)1.图像修复现存在的问题研究人员认为,现有的基于深度学习的图像修复方法不够好,是因为丢失像素的输出必然取决于输入的值,而这些输入的值(通常是数据集原创 2021-05-04 16:33:38 · 1158 阅读 · 0 评论 -
论文翻译阅读_Generative Image Inpainting with Adversarial Edge Learning
引言Abstract在过去的几年,深度学习技术使得图像修复领域产生了很大的进步。然而,很多技术仍然还是重建合理的结构,因为他们通常都过度平滑了图像或者模糊。这篇文章针对图像修复提出了新的方法,它能够较好地再现充满细节的区域。提出了两阶段的生成对抗模型 Edge Connect,该模型包含一个边缘生成器和一个图像修复网络。边缘生成器可以预测出缺失区域的边缘信息,而修复网络将边缘生成器预测得到的边缘信息作为先验信息来完成对缺失区域的修复。我们在公开可用的数据集CelebA、Places2和Paris Stre原创 2021-04-29 13:49:02 · 1136 阅读 · 1 评论 -
Generative Image Inpainting with Contextual Attention
1. Introduction基于卷积的修复方法通常可能会造成边界人造视觉,结构扭曲,纹理模糊、与周围区域不一致性的修复结果。作者认为,这是卷积神经网络在建模远距离的上下文信息与缺失区域之间长距离相关的无效性。例如为了让一个像素被原始图片上64x64个像素所影响,那么至少需要6层的3x3的卷积核并且空洞卷积参数为2.而空洞卷积是规则对称的进行取样特征,不能去权衡哪些像素点是有用的哪些是无用的。最近有一篇文章 High-resolution image inpainting using multi-sca原创 2021-04-19 10:44:05 · 1890 阅读 · 0 评论 -
基于PatchGAN的生成对抗图像修复
1.介绍对高分辨率图像的去模糊、去噪、修复等,对于现实的纹理合成的一个关键的问题是:如何保证真实性或者是自然性?,我们知道利用GAN的生成能力可以生成较为真实的图片,但是在面对高分辨的图片时,在保证图像的全局结构的一致性的情况下,需要更加关注图像的细节,而传统GAN的鉴别器通常只能够关注到全局的信息。本文的主要改进点在于对鉴别器网络进行改进,整个鉴别器网络包括global GAN和 patch GAN.对于global GAN我们已经很熟悉了,主要就是鉴别器网络的输入是一张图片,而输出是一个标量,用来进原创 2021-03-29 14:20:14 · 9472 阅读 · 6 评论 -
High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis
文章目录1. Abstract2. Introduction2.1 Context Encoder2.2 our method2.3 Main contributions of this paper3. The Approach3.1 Framework Overview3.2 The Joint Loss Function3.4 The Texture Network总结:总结:参考文献1. Abstract提出了一种基于图像内容和纹理约束联合优化的多尺度神patch合成方法,该方法不仅保存了图像的上原创 2021-03-28 10:19:06 · 1122 阅读 · 0 评论