标题
Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization
Pick-and-Draw:文本到图像个性化的无训练语义指导
总结概括
Summary
本文提出了一种无需训练的语义引导方法"Pick-and-Draw",以提高文本到图像个性化模型的身份一致性和生成多样性。该方法包括两个组件:外观选取引导和布局绘制引导。外观选取引导使用参考图像的视觉特征构建外观调色板,并选取局部模式来生成具有一致身份的指定主体。布局绘制引导参考普通扩散模型的生成模板勾勒主体轮廓,并继承强大的图像先验根据不同文本条件合成多样的背景。该方法可应用于任何个性化扩散模型,只需要一张参考图像。实验表明,"Pick-and-Draw"能够持续提高身份一致性和生成多样性,将主体保真度和图文保真度之间的权衡推向新的帕累托前沿。
Key Points
- 提出了一种称为"Pick-and-Draw"的无需训练的语义引导方法,以提高文本到图像个性化模型的身份一致性和生成多样性
- 外观选取引导从参考图像构建外观调色板,并选取局部模式来生成具有一致身份的指定主体
- 布局绘制引导参考普通扩散模型的生成模板,勾勒主体轮廓以合成多样的背景
- 可应用于任何个性化扩散模型,只需要一张参考图像即可
- 实验表明,Pick-and-Draw 能够持续提高身份一致性和生成多样性,将主体保真度和图像-文本保真度之间的权衡推向新的帕累托前沿