- 博客(19)
- 收藏
- 关注
RSS订阅原创 Feature Refinement to Improve High Resolution Image Inpainting特征细化以提高高分辨率的图像修复（2022）论文笔记
本文解决了在高分辨率下运行的神经网络的图像质量下降的问题。修复网络通常无法以高于其训练集的分辨率生成全局连贯的结构。部分原因是，尽管图像分辨率有所提高，但感受野仍然保持静止。虽然在修复之前缩小图像的比例会产生连贯的结构，但它本质上缺乏更高分辨率下的细节。为了两全其美，本文通过最小化推理时的多尺度一致性损失来优化网络的中间特征映射。
2023-12-05 14:08:49
103
1
原创 Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting超高分辨率图像修复的上下文残差聚合（2020）
由于内存限制，修复只能处理低分辨率输入，通常小于1K。而移动设备拍摄的照片分辨率提高到8K。对低分辨率的上采样结果只会产生一个大而模糊的结果。然而，在大的模糊图像上添加高频残差图像可以产生清晰的结果，丰富的细节和纹理。基于此，本文提出了一种上下文残差聚合(CRA)机制，该机制可以通过加权聚合上下文补丁的残差来产生缺失内容的高频残差，从而只需要来自网络的低分辨率预测。由于神经网络的卷积层只需要在低分辨率输入和输出，内存成本和计算能力都得到了很好的抑制。此外，还减少了对高分辨率训练数据集的需求。本文在分辨率为5
2023-12-05 14:07:49
93
1
原创 High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling 迭代置信度反馈和引导
本文提出了一种带有反馈机制的迭代修复方法。引入了一个深度生成模型，该模型不仅可以输出一个修复结果，还可以输出相应的置信度图。使用此图作为反馈，它通过在每次迭代中只信任洞内的高置信度像素来逐步填充洞，并在下一次迭代中关注剩余的像素，由于它重用了来自先前迭代的部分预测作为已知像素，因此该过程逐渐改善了结果。此外，提出了一个引导上采样网络，以生成高分辨率的修复结果。通过扩展上下文注意模块来实现这一点，以借用输入图像中的高分辨率特征补丁。此外，为了模拟真实的对象移除场景，我们收集了一个大型物体掩码数据集，并合成了更
2023-12-05 14:02:16
92
1
原创 High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis基于多尺度神经补丁合成的高分辨率图像修复（2017）
基于深度学习的方法在捕获高级特征方面比以前的技术更有效，但由于内存限制和训练困难，它们只能处理低分辨率的输入。即使是稍微大一点的图像，被修复的区域也会显得模糊。本文提出了一种基于图像内容和纹理约束联合优化的多尺度神经补丁合成方法，该方法不仅保留了上下文结构，而且通过匹配和自适应最相似的深层分类网络中间层特征相关性的补丁来产生高分辨率细节。
2023-11-30 15:50:33
109
原创 Deep Blind Image Inpainting（2017）论文笔记
大多数现有的修复算法都假定损坏区域的位置是已知的。本文提出了一种有效的盲图像修复算法，可以直接从损坏的输入中恢复出清晰的图像。我们的算法是由残差学习算法驱动的，残差学习算法旨在学习损坏区域的缺失信息。然而，直接使用现有的残差学习算法进行图像恢复并不能很好地解决这一问题，因为损坏区域的信息很少。为了解决这个问题，我们引入了一个编码器和解码器架构来捕获更多有用的信息，并开发了一个鲁棒性损失函数来处理异常值。我们的算法可以预测损坏区域的缺失信息，从而便于清晰的图像恢复。
2023-11-24 12:00:14
32
1
原创 VC：A Robust Approach to Blind Image Inpainting 一种鲁棒性的盲图像修复方法（2020）论文笔记
盲修复是一项自动完成视觉内容的任务，无需为图像中缺失的区域指定掩码。之前的研究假设缺失区域模式是已知的，限制了其应用范围。本文通过定义一个新的盲修复设置来放宽假设，使盲修复神经系统对各种未知缺失区域模式的训练具有鲁棒性。我们提出了一个两阶段的视觉一致性网络(VCN)，旨在估计填充的位置(通过掩模)并生成填充的内容。在此过程中，不可避免的存在潜在掩模预测误差，导致后续修复中出现严重的伪影。为了解决这个问题，我们的VCN首先预测语义不一致的区域，使掩码预测更容易处理。然后使用新的空间归一化方法修复这些估计的缺失
2023-11-23 21:10:50
83
原创 Region Normalization for Image Inpainting图像修复的区域归一化（2019）论文笔记
特征归一化(FN)是帮助神经网络训练的一项重要技术，它通常对跨空间维度的特征进行归一化。大多数先前的图像修复方法在其网络中应用FN，而没有考虑输入图像的损坏区域对归一化的影响，例如均值和方差偏移。本文发现由全空间FN引起的均值和方差变化限制了图像修复网络的训练，提出了一种空间区域化的归一化，称为区域归一化(RN)来克服这一限制。RN根据输入掩码将空间像素划分为不同的区域，计算每个区域的均值和方差进行归一化。我们为我们的图像修复网络开发了两种RN：①基本RN (RN-B)，它在原始修复掩码的基础上分别对损坏区
2023-11-21 18:33:07
127
1
原创 Deep Fusion Network for Image Completion用于图像修复的深度融合网络（2019）论文笔记
深度图像修复通常不能将恢复后的图像与现有内容和谐融合，特别是在边界区域，本文从创建平滑过渡的新角度处理了这个问题，并提出了一个简洁的深度融合网络(DFNet)。首先，引入融合块，生成一个灵活alpha的组合图，用于组合已知和未知区域。融合块不仅提供了恢复内容和现有内容之间的平滑融合，而且提供了一个注意力图，使网络更多地关注未知像素。这样，就为结构和纹理信息搭建了一座桥梁，使信息从已知区域自然传播到补全。融合块被嵌入到网络的几个解码器层中。在每一层的损失约束可调的情况下，可以获得更准确的结构信息。
2023-11-20 19:44:37
145
1
原创 Single-shot Semantic Image Inpainting with Densely Connected Generative Networks基于密集连接生成网络的单镜头语义图像修复
现有的方法缺乏对语义和空间语境的充分理解，容易产生边界模糊和结构扭曲导致与周围区域不一致。本文提出了一个新的端到端框架，称为单镜头密集连接生成网络(SSDCGN)，它通过一组对称编码器-解码器组为缺失的内容生成视觉上逼真且语义上不同的像素。为了最大限度地提取语义并实现精确的空间上下文定位，在网络中引入了更深层次的密集跳跃连接。
2023-11-16 17:43:44
50
1
原创 Semantic Image Inpainting with Progressive Generative Networks渐进式生成网络的语义图像修复（2018）论文阅读
本文研究了一个更具挑战性的问题—新出现的语义图像修复，一项在自然图像中填充大洞的任务。在本文中，提出了一个端到端的框架渐进式生成网络(PGN)，该框架将语义图像修复任务视为课程学习问题。具体来说，将填洞过程分为几个不同的阶段，每个阶段的目标是完成整个课程中的一个课程。之后，使用LSTM（LSTM是一种特殊的RNN(循环神经网络)）框架将所有阶段串联在一起。通过引入这种学习策略，在自然图像中能够逐步缩小大的损坏区域并产生有希望的修复效果。此外，所提出的方法具有相当快的评估，因为整个孔填充是在一个单一的前向通道
2023-11-16 17:41:23
83
1
原创 Image Fine-grained Inpainting图像细粒度修复（2020）论文笔记
本文提出了一个单阶段模型，该模型利用空洞卷积的密集组合来获得更大更有效的感受野。得益于该网络的特性，我们可以更容易地从不完整的图像中恢复出大面积的区域。为了更好地训练这个高效的生成器，除了经常使用的VGG特征匹配损失外，还设计了一种新的自导向回归损失来集中不确定区域并增强语义细节。此外，设计了一个几何对齐约束项(特征中心坐标对齐)来补偿基于像素的预测特征与真实图片特征之间的距离。我们还使用局部和全局分支的鉴别器来确保局部和全局内容的一致性。为了进一步提高生成图像的质量，在局部分支上引入鉴别器特征匹配，动态地
2023-11-16 17:37:33
262
1
原创 Image Inpainting via Generative Multi-column Convolutional Neural Networks 基于生成式多列卷积神经网络的图像修复（2018）
本文提出了一种生成式多列网络用于图像修复。该网络在一个阶段内以并行的方式合成不同的图像组件。为了更好地表征全局结构，设计了一个置信度驱动的重建损失（根据空间位置约束生成的内容），同时采用隐式多样化MRF正则化来增强局部细节。结合重建和MRF损失的多列网络将来自上下文的局部和全局信息传播到目标图像区域。可以不用后处理。
2023-11-16 17:29:20
132
1
原创 Deep Inception Generative Network for Cognitive Image Inpainting(认知图像修复的深度初始生成网络2018)论文笔记
深度学习的最新进展在填充大的孔洞方面显示出令人兴奋的前景，并为图像修复带来了另一个方向。然而，现有的基于学习的方法往往由于认知理解不足而产生伪影和谬误纹理。以往的生成网络受限于单一的接收类型，并且在考虑细节清晰度时放弃了池化。无论目标属性如何，人类的认知都是不变的。由于感受野提高了抽象图像表征的能力，池化可以保持特征不变性，采用深度初始学习来促进高级特征表示，增强模型对局部补丁的学习能力。此外，还介绍了生成不同掩码图像的方法，并创建了随机掩码数据集
2023-11-16 17:13:41
74
1
原创 Image Inpainting with Learnable Bidirectional Attention Maps可学习双向注意力映射（2019）论文笔记
大多数基于卷积网络的图像修复方法采用普通卷积对有效像素和孔洞进行无差别处理，这使得它们在处理不规则孔洞时受到限制，更容易产生色差和模糊的修复结果。部分卷积被提出用来解决这个问题，但是它采用了手工制作的特征重归一化，并且只考虑前向掩码更新。本文提出了一种可学习的注意映射模块，以端到端的方式学习特征重新归一化和掩码更新，该模块能够有效地适应不规则孔洞和卷积层的传播。
2023-11-16 17:01:34
113
1
原创 Free-Form Image Inpainting with Gated Convolution（2018）论文笔记
本文提出了一种生成式图像修复系统，利用自由形式的掩码和引导完成图像。该系统基于从数百万张图像中学习的门控卷积，而无需额外的标记工作。所提出的门控卷积解决了普通卷积将所有输入像素视为有效像素的问题，通过为所有层的每个空间位置的每个通道提供可学习的动态特征选择机制来推广部分卷积。此外，由于自由形式掩码可能出现在任何形状的图像中的任何位置，因此为单个矩形掩码设计的全局和局部GAN不适用。因此，本文提出了一种基于块的GAN损失，称为SN-PatchGAN，通过在密集图像块上应用谱归一化鉴别器。SN-PatchGAN
2023-11-15 18:18:31
178
原创 Image Inpainting for Irregular Holes Using Partial Convolutions（2018）论文笔记
现有的图像修复方法会导致诸如颜色差异和模糊之类的伪影，后处理通常用于减少此类伪影，但代价昂贵且可能失败。本文提出了部分卷积，其中卷积被掩码并重新规一化，仅以有效像素为条件。就是将有效像素和缺失像素区别对待，卷积层仅对满足条件的有效像素进行卷积和规范操作。还提出了一个机制，掩码自动更新机制，根据掩码更新规则对掩码进行自动更新，直至掩码中所有的值均为1。在不规则图像上有良好的效果，修复结果与孔洞值无关。
2023-11-15 18:06:46
39
原创 Globally and Locally Consistent Image Completion（2017）论文笔记
提出了一种新的图像补全方法，可以使图像在局部和全局都保持一致。为了训练这个图像补全网络的一致性，我们使用了全局和局部上下文判别器，它们被训练来区分真实图像和完成的图像。全局鉴别器查看整个图像以评估其是否作为一个整体连贯，而局部鉴别器仅查看以完成区域为中心的小区域，以确保生成的补丁的局部一致性。
2023-11-15 17:57:50
89
原创 Context Encoders:Feature Learning by Inpainting（2016）
本文提出一种基于上下文像素预测驱动的无监督视觉特征模型——一种经过训练的卷积神经网络，用于根据周围环境生成任意图像区域的内容。训练中遇到的两种损失：标准像素重建损失和重建加对抗损失。CE的学习表示不仅可以捕捉外观，还可以捕捉视觉结构的语义。
2023-11-15 17:52:56
214
原创 卷积神经网络（CNN）
之所以称为卷积网络，是因为这个网络中含有卷积层，进行了卷积操作，卷积是一种数学运算。池化层：pooling淤积，汇聚。工作过程：向CNN输入一张图片，经过多次的卷积层、激活函数层、池化层抽取到图片的特征，再把特征图片送入最后的全连接层进行最终分类。卷积操作的一个重要作用：不同的卷积可以提取到图片不同的特征（比如轮廓特征，表面特征，甚至更细微的特征）CNN主要由数据输入层、卷积层、激活函数层、池化层和全连接层组成，其中每层由单独的神经元组成。图片经过不同的卷积操作之后产生的效果是不同的。
2023-05-18 15:33:18
298
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人