qq_40700490的博客

1. Motivationbatch normalization将缺失区域和有效区域同样处理，会导致均值和标准差的偏移。2. Approach2.1Region normalization将第n个特征图的第c个通道分为多个区域，计算每个小区域的均值和标准差，将每个小区域normalization，在组合即可。Basic Region NormalizationLearnable Region Normalization2.2Network str..

1. Motivation传统方法：缺乏语义级的理解，不能补全复杂场景； 深度学习的方法：在不合理的限制下尝试恢复整个目标； 逐步补全的方法：会导致信息的曲解； 注意力的方法：未考虑不同循环之间的关系。2. Approach2.1Network structureArea Identification：集成了几个partial convolution layer用于更新mask和feature map。Feature Reasoning：基于卷积的编码解码结构。Featur.

1. Motivationpatch-based methods：不能提取到图像的高级特征，难以生成语义上很合理的结果； deep learning based method：从图像密集的潜在特征中生成视觉上很合理的结果仍具有挑战性。2. Approach2.1 Network structure生成器采用了编码和解码的结构，编码器采用的金字塔式的编码器，一个关键的地方是作者设计了Attention Transfer Network(ATN)，可以让已知区域的特征迁移到缺失区域，实现更好

1. Motivationpatch-based methods：不能提取到图像的高级特征，难以生成语义上很合理的结果； deep learning based method：从图像密集的潜在特征中生成视觉上很合理的结果仍具有挑战性。2. Approach2.1 Network structure生成器采用了编码和解码的结构，编码器采用的金字塔式的编码器，一个关键的地方是作者设计了Attention Transfer Network(ATN)，可以让已知区域的特征迁移到缺失区域，实现更好

1. Motivation传统方法不能很好的重建复杂的细节部分，不能处理大规模确实的图片‘ 生成的图像通常会产生模糊，不协调的区域。2. Approach2.1 Network structure整个网络有两部分组成，前半部分用于生成图像的边缘，第二部分基于预测的边缘对缺失图像进行补全。2.2 Loss functionEdge generator：对抗损失：特征匹配损失：最终的损失：这里采用的是边缘生成网络部分中的判别器中的feature mapsIm

1. Motivation人脸拥有丰富且微妙的纹理特征，不同的人的这些特征各不相同； 传统方法不能处理具有复杂结构和大规模缺失的图像，只能利用底层特征； 一些基于深度学习的方法忽视了不精确的 Attention分数所带来的影响。2. Approach2.1 Network Structure整个网络可以分别为两部分生成器和判别器，生成器部分采用U-Net的结构，判别器采用了PatchGAN。Dual spatial attention with supervision:上图展

1. Motivation传统的方法假设图像中不同的patch之间的相似性高； 生成图像的纹理细节不好，且不能处理高分辨率的图像。2. Approach2.1 Network StructureFramework Overview.The network architecture for structured content prediction.网络分为两部分，Conten Network和Texture Network。Conten Network采用编码和解码结构，用于生成

1. 残差块输入X，经过两次次卷积，一次ReLU，得到F(X)，在将X与F(X)相加，在经过一个ReLU，即为最后的结果。残差神经网络就是基于残差块的一个深度神经网络。2. 代码这篇博客理论涉及较少，主要是代码，在CIFAIR10数据集上，实现一个浅层的残差神经网络用于分类。import torchimport torch.nn as nnimport torchvisionimport torchvision.transforms as transformsdevice =

1. Motivation提取合适的特征评估 patch之间的相似性； 寻找最接近的 patch； 聚合辅助信息。2. Approach2.1 Network Structure生成器：三个并行的编码器，用于提取不通尺度的特征，一个公用的解码器。 判别器：局部判别器+全局判别器。2.2 Loss functionID-MRF regularization：这个损失或正则项其实就是常见的感知损失或特征损失的改良版，用上面的公式去度量 patch之间的相似性，相似

1. Motivation传统方法不能生成新的内容； 现有的基于深度学习的方法会产生不合理的结构和模糊。2. Approach2.1 Network Architecture生成器：每个“convolution + norm”都有一个激活函数，最后一层的激活函数是Tanh，其他层的函数都是ReLU。生成器的中间部分包含DMFB(dense multi-scale fusion block)，结构如上图所示。判别器：两个branch，一个负责全局特征，一个负责局部特征，之后将fea

1. Motivation传统的方法不适用于复杂的场景，如人脸； 普通的卷积认为所有的像素或特征都是有效的，但是位于空缺位置的像素和特征其实是无效的； Partial convolution对普通卷积进行了改进，认为一部分特征是有效的另一部分是无效的，通过更新mask的方法实现，关于Partial convolution的详细解释【1，2】。但是网络中的特征应该分为三部分，(1)全部基于已知区域获得的特征；(2)全部基于空缺区域获得的特征；(3)部分基于已知区域获得的特征和部分基于未知区域获得的特征

1. Motivation以前的方法会产生 artifacts，需要后处理，且效果不是很好； 过去的方法集中关注位于图像中间的矩形空缺，会导致过拟合。2. Approach2.1Partial convolutional layerW是卷积核，X是当前窗口图像或者 feature map，M是X对应的 mask，1 是和M尺寸相同的矩阵，只是1中的元素全为1。mask更新的方法，只要当前窗口有一个位置的 mask值为1，则新生成的 mask的值等于1，mask会随着网络的深...

1. Motivation人脸图片中只包含很少的相同的结构； 不能很好的修复脸部的细节； 人脸的对称性不能很好的利用。2. Approach2.1Network architecture生成器：FlowNet和 LightNet用于填充只在半边人脸缺失的部分，后面 RecNet用于填充在两边脸都缺失的部分。FlowNet学习人脸的对称性，基于另一半已知的人脸填充当前的一半人脸。LightNet学习亮度信息，让FlowNet补全的部分加上光照，更加接近真实的人脸。Re..

1. Motivation传统方法要求图像之中的patch之间存在相似性； 卷积神经网络不能有效的从图像较远的区域提取信息。2. Approach2.1Network architectureOverview of our improved generative inpainting framework.生成器：包括两个网络，一个粗糙网络，一个改良网络，粗糙网络用重构损失训练，改良网络重构损失和 GAN的损失训练； 判别器：两个，一个局部，一个整体，都是基于 WGAN-GP【1】。.

1. Motivation传统方法要求图像中的块之间存在相似性； 人脸有很明显的几何特征，几何信息的先验知识很重要； 如何在模型中实现对人脸的编辑。2. Approach2.1Network architectureNetwork architecture整体的网络框架如上图所示，分为三部分：面部几何信息的估计，生成器和判别器。Facial geometry estimator网络的输入是待补全的图像，目标是学习出人脸的关键点和分割结果，网络的中间部分采用了 HG blo.

1. Motivation以前的图像补全算法都是从已知区域中复制 pattern，当补全对象是人脸时，图像拥有相似 pattern的假设不成立。2. Approach2.1Network architectureNetwork architectureGenerator：生成器就是常见的 Encoder-decoder结构； Discriminator：判别器有两个， Global discriminator和 Local discriminator，与Globally and ..

1. Motivation以前的方法只能生成可以在缺失图像中可以找到的图像碎片，不能理解高级的语义信息； Context Encoders局部的细节修复不是很好，而且分辨率低。2.Approach2.1 Architecture of networkOverview of our architecture for learning image completion. 判别器：网络中有两个判别器，Global Discriminator 提取全局特征，Local Discrimina.

1. Encoder-decoder pipelineContext encoder trained with joint reconstruction and adversarial loss for semantic inpaintingContext encoder trained with reconstruction loss for feature learning by filling in arbitrary region dropouts in the input该文.