【SDG精读与代码复现】More Control for Free Image Synthesis with Semantic Diffusion Guidance【SDG】

本文介绍了使用Semantic Diffusion Guidance (SDG) 进行多模态图像合成的方法,该方法无需额外训练即可利用预训练的扩散模型。SDG结合文本和图像引导,提供更好的可控性,适用于无文本注释的数据集。通过CLIP模型的自监督微调,实现了在多个领域生成图像,同时保持语义、结构或风格的多样性。
摘要由CSDN通过智能技术生成

一、前言

论文地址:Liu_More_Control_for_Free_Image_Synthesis_With_Semantic_Diffusion_Guidance_WACV_2023_paper
代码地址:https://github.com/xh-liu/SDG_code
文章核心思想:多模态的引导扩散模型进行采样。直接用训练好的非条件的扩散模型,无需重复训练。文字guided是用一个微调的CLIP模型,数据集无需文本注释。数据集是FFHQ和LSUN在这篇文章介绍了。
本文主要分为三个模块:
第一个是论文介绍模块,以更通俗易懂的方式帮助大家理解论文。
第二个是复现模块,代码的复现引导。
第三个是复现过程的代码解决方案模块,复现过程遇到有bug的可以看看。
代码的分析模块见:

评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值