Face Image Inpainting Network based on Dense Multi-Scale Fusion of Local Binary Patterns——2021

Face Image Inpainting Network based on Dense Multi-Scale Fusion of Local Binary Patterns——2021

Introduction

  this paper propose a face inpainting network based on dense multi-scale fusion of local binary patterns (DMFLBP), which is implemented by combining the local binary pattern (LBP) learning network with the actual inpainting network.

  • 提出一种结合密集多尺度融合块的LBP学习网络,为修复任务提供结构信息。
  • 利用修复网络中的双向跳过连接机制,实现低层视觉特征和高层语义特征的灵活聚合,实现更好的修复功能。

Method

在这里插入图片描述

Dense Multi-Scale Fusion LBP Learning Network

  LBP包含更丰富的结构信息,提取方法简单,不像其他结构信息(轮廓信息、边缘信息等)。)提取需要预滤波强度、边缘响应阈值等参数。因此,第一个网络使用的稠密多尺度融合块提取了更多的LBP信息,可以更好地指导修复网络重构图像。稠密多尺度融合LBP学习网络包括生成器G1和鉴别器D1。在G1,为了扩大接收区域和增加神经元的感受野,使用了密集的多尺度融合块(DMFB),这也减少了繁重的模型参数。致密多尺度融合块的结构如图2所示。一般来说,DMFB左侧的特征被分成4个卷积分支,每个分支具有不同的扩展速率(1,2,4,8),以提取多尺度特征。在D1,我们使用Patch-GAN的全卷积鉴别器架构。在这里插入图片描述

Loss

multi-level penalty loss functio
在这里插入图片描述
reconstruction loss
在这里插入图片描述
aderversial loss
在这里插入图片描述
在这里插入图片描述

Face Image Inpainting Network

  双向(向前和向后)跳过连接用于使编码器和解码器更好地处理语义特征。采用前向跳跃连接不仅可以更好地保持梯度,而且可以更好地将低层视觉特征从编码器传输到同级解码器。
在这里插入图片描述
反向跳转连接将高级语义特征从解码器转移到编码器。
在这里插入图片描述

loss

在这里插入图片描述

Expriment

定性

在这里插入图片描述

定量

在这里插入图片描述

Ablation

在这里插入图片描述在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值