Brushnet:a plug-and-play image inpainting model with decomposed dual-branch diffusion

本文介绍了一种名为Brushnet的图像修复模型,该模型通过分离的双分支扩散来提升图像修复的连贯性。不同于传统的文本引导修复方法,Brushnet通过额外的分支专注于mask图像特征的提取,减少了文本对修复过程的影响。实验表明,这种方法在 CelebA、CelebA-HQ、Imagenet等数据集上表现优秀,提高了修复质量和一致性。
摘要由CSDN通过智能技术生成

这篇文章的做法和instanceid有很多相似的地方。

1.introduction

图像修复的目标是恢复图像中的缺失部分,同时保持整体的连贯性。常见的基于文本引导的扩散式图像修复方法大致可以分为两类:1.采样策略调整,通过修改标准去噪过程,从预训练的扩散模型中采样mask区域,未mask区域在每次去噪步骤中直接从给定图像复制粘贴,这种方法对mask边界和为mask区域的感知有限,导致修复结果不连贯;2.专用修复模型,通过扩展基础扩散模型的输入通道维度,以整合提供的损坏图像和mask,对专门设计的图像修复模型进行微调。

专用修复模型在早期阶段融合了噪声潜在向量、mask潜在向量、mask和文本,这种架构设计是的mask图像特征容易受到文本embedding的影响,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值