Face Image Inpainting Network based on Dense Multi-Scale Fusion of Local Binary Patterns——2021
Introduction
this paper propose a face inpainting network based on dense multi-scale fusion of local binary patterns (DMFLBP), which is implemented by combining the local binary pattern (LBP) learning network with the actual inpainting network.
- 提出一种结合密集多尺度融合块的LBP学习网络,为修复任务提供结构信息。
- 利用修复网络中的双向跳过连接机制,实现低层视觉特征和高层语义特征的灵活聚合,实现更好的修复功能。
Method
Dense Multi-Scale Fusion LBP Learning Network
LBP包含更丰富的结构信息,提取方法简单,不像其他结构信息(轮廓信息、边缘信息等)。)提取需要预滤波强度、边缘响应阈值等参数。因此,第一个网络使用的稠密多尺度融合块提取了更多的LBP信息,可以更好地指导修复网络重构图像。稠密多尺度融合LBP学习网络包括生成器G1和鉴别器D1。在G1,为了扩大接收区域和增加神经元的感受野,使用了密集的多尺度融合块(DMFB),这也减少了繁重的模型参数。致密多尺度融合块的结构如图2所示。一般来说,DMFB左侧的特征被分成4个卷积分支,每个分支具有不同的扩展速率(1,2,4,8),以提取多尺度特征。在D1,我们使用Patch-GAN的全卷积鉴别器架构。
Loss
multi-level penalty loss functio
reconstruction loss
aderversial loss
Face Image Inpainting Network
双向(向前和向后)跳过连接用于使编码器和解码器更好地处理语义特征。采用前向跳跃连接不仅可以更好地保持梯度,而且可以更好地将低层视觉特征从编码器传输到同级解码器。
反向跳转连接将高级语义特征从解码器转移到编码器。