想要成为学霸的渣渣-CSDN博客

原创 Region Normalization for Image Inpainting

1. Motivationbatch normalization将缺失区域和有效区域同样处理，会导致均值和标准差的偏移。2. Approach2.1Region normalization将第n个特征图的第c个通道分为多个区域，计算每个小区域的均值和标准差，将每个小区域normalization，在组合即可。Basic Region NormalizationLearnable Region Normalization2.2Network str..

2020-09-06 09:40:30 1032

原创 Recurrent Feature Reasoning for Image Inpainting

1. Motivation传统方法：缺乏语义级的理解，不能补全复杂场景；深度学习的方法：在不合理的限制下尝试恢复整个目标；逐步补全的方法：会导致信息的曲解；注意力的方法：未考虑不同循环之间的关系。2. Approach2.1Network structureArea Identification：集成了几个partial convolution layer用于更新mask和feature map。Feature Reasoning：基于卷积的编码解码结构。Featur.

2020-09-05 16:34:25 2177 3

原创 Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting

1. Motivationpatch-based methods：不能提取到图像的高级特征，难以生成语义上很合理的结果； deep learning based method：从图像密集的潜在特征中生成视觉上很合理的结果仍具有挑战性。2. Approach2.1 Network structure生成器采用了编码和解码的结构，编码器采用的金字塔式的编码器，一个关键的地方是作者设计了Attention Transfer Network(ATN)，可以让已知区域的特征迁移到缺失区域，实现更好

2020-08-31 22:51:08 1394

原创 EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

1. Motivation传统方法不能很好的重建复杂的细节部分，不能处理大规模确实的图片‘ 生成的图像通常会产生模糊，不协调的区域。2. Approach2.1 Network structure整个网络有两部分组成，前半部分用于生成图像的边缘，第二部分基于预测的边缘对缺失图像进行补全。2.2 Loss functionEdge generator：对抗损失：特征匹配损失：最终的损失：这里采用的是边缘生成网络部分中的判别器中的feature mapsIm

2020-08-26 16:29:13 2055

原创 Learning Oracle Attention for High-fidelity Face Completion

1. Motivation人脸拥有丰富且微妙的纹理特征，不同的人的这些特征各不相同；传统方法不能处理具有复杂结构和大规模缺失的图像，只能利用底层特征；一些基于深度学习的方法忽视了不精确的 Attention分数所带来的影响。2. Approach2.1 Network Structure整个网络可以分别为两部分生成器和判别器，生成器部分采用U-Net的结构，判别器采用了PatchGAN。Dual spatial attention with supervision:上图展

2020-08-23 13:21:07 498 1

原创 High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

1. Motivation传统的方法假设图像中不同的patch之间的相似性高；生成图像的纹理细节不好，且不能处理高分辨率的图像。2. Approach2.1 Network StructureFramework Overview.The network architecture for structured content prediction.网络分为两部分，Conten Network和Texture Network。Conten Network采用编码和解码结构，用于生成

2020-08-14 15:53:07 321

原创 Pytorch实现残差神经网络(ResNet)

1. 残差块输入X，经过两次次卷积，一次ReLU，得到F(X)，在将X与F(X)相加，在经过一个ReLU，即为最后的结果。残差神经网络就是基于残差块的一个深度神经网络。2. 代码这篇博客理论涉及较少，主要是代码，在CIFAIR10数据集上，实现一个浅层的残差神经网络用于分类。import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transformsdevice =

2020-08-12 22:07:22 6009 4

原创 Image Inpainting via Generative Multi-column Convolutional Neural Networks

1. Motivation提取合适的特征评估 patch之间的相似性；寻找最接近的 patch；聚合辅助信息。2. Approach2.1 Network Structure生成器：三个并行的编码器，用于提取不通尺度的特征，一个公用的解码器。判别器：局部判别器+全局判别器。2.2 Loss functionID-MRF regularization：这个损失或正则项其实就是常见的感知损失或特征损失的改良版，用上面的公式去度量 patch之间的相似性，相似

2020-08-12 16:43:22 1224 1

原创 Image Fine-grained Inpainting

1. Motivation传统方法不能生成新的内容；现有的基于深度学习的方法会产生不合理的结构和模糊。2. Approach2.1 Network Architecture生成器：每个“convolution + norm”都有一个激活函数，最后一层的激活函数是Tanh，其他层的函数都是ReLU。生成器的中间部分包含DMFB(dense multi-scale fusion block)，结构如上图所示。判别器：两个branch，一个负责全局特征，一个负责局部特征，之后将fea

2020-08-11 15:14:17 952

原创 Free-Form Image Inpainting with Gated Convolution

1. Motivation传统的方法不适用于复杂的场景，如人脸；普通的卷积认为所有的像素或特征都是有效的，但是位于空缺位置的像素和特征其实是无效的； Partial convolution对普通卷积进行了改进，认为一部分特征是有效的另一部分是无效的，通过更新mask的方法实现，关于Partial convolution的详细解释【1，2】。但是网络中的特征应该分为三部分，(1)全部基于已知区域获得的特征；(2)全部基于空缺区域获得的特征；(3)部分基于已知区域获得的特征和部分基于未知区域获得的特征

2020-08-10 16:38:43 1049 4

原创 Image Inpainting for Irregular Holes Using Partial Convolutions

1. Motivation以前的方法会产生 artifacts，需要后处理，且效果不是很好；过去的方法集中关注位于图像中间的矩形空缺，会导致过拟合。2. Approach2.1Partial convolutional layerW是卷积核，X是当前窗口图像或者 feature map，M是X对应的 mask，1 是和M尺寸相同的矩阵，只是1中的元素全为1。mask更新的方法，只要当前窗口有一个位置的 mask值为1，则新生成的 mask的值等于1，mask会随着网络的深...

2020-08-09 22:49:22 546

原创 Learning Symmetry Consistent Deep CNNs for Face Completion

1. Motivation人脸图片中只包含很少的相同的结构；不能很好的修复脸部的细节；人脸的对称性不能很好的利用。2. Approach2.1Network architecture生成器：FlowNet和 LightNet用于填充只在半边人脸缺失的部分，后面 RecNet用于填充在两边脸都缺失的部分。FlowNet学习人脸的对称性，基于另一半已知的人脸填充当前的一半人脸。LightNet学习亮度信息，让FlowNet补全的部分加上光照，更加接近真实的人脸。Re..

2020-08-08 15:21:00 252

原创 Generative Image Inpainting with Contextual Attention

1. Motivation传统方法要求图像之中的patch之间存在相似性；卷积神经网络不能有效的从图像较远的区域提取信息。2. Approach2.1Network architectureOverview of our improved generative inpainting framework.生成器：包括两个网络，一个粗糙网络，一个改良网络，粗糙网络用重构损失训练，改良网络重构损失和 GAN的损失训练；判别器：两个，一个局部，一个整体，都是基于 WGAN-GP【1】。.

2020-08-07 23:00:43 911

原创 Geometry-Aware Face Completion and Editing

1. Motivation传统方法要求图像中的块之间存在相似性；人脸有很明显的几何特征，几何信息的先验知识很重要；如何在模型中实现对人脸的编辑。2. Approach2.1Network architectureNetwork architecture整体的网络框架如上图所示，分为三部分：面部几何信息的估计，生成器和判别器。Facial geometry estimator网络的输入是待补全的图像，目标是学习出人脸的关键点和分割结果，网络的中间部分采用了 HG blo.

2020-08-06 23:10:39 386

原创 Generative Face Completion

1. Motivation以前的图像补全算法都是从已知区域中复制 pattern，当补全对象是人脸时，图像拥有相似 pattern的假设不成立。2. Approach2.1Network architectureNetwork architectureGenerator：生成器就是常见的 Encoder-decoder结构； Discriminator：判别器有两个， Global discriminator和 Local discriminator，与Globally and ..

2020-08-06 19:08:34 409

原创 Globally and Locally Consistent Image Completion

1. Motivation以前的方法只能生成可以在缺失图像中可以找到的图像碎片，不能理解高级的语义信息； Context Encoders局部的细节修复不是很好，而且分辨率低。2.Approach2.1 Architecture of networkOverview of our architecture for learning image completion. 判别器：网络中有两个判别器，Global Discriminator 提取全局特征，Local Discrimina.

2020-08-04 15:56:08 1313

原创 Context Encoders: Feature Learning by Inpainting

1. Encoder-decoder pipelineContext encoder trained with joint reconstruction and adversarial loss for semantic inpaintingContext encoder trained with reconstruction loss for feature learning by filling in arbitrary region dropouts in the input该文.

2020-08-03 19:57:20 2514

qq_40700490的博客