BootPIG: Bootstrapping Zero-shot Personalized Image Generation Capabilities inPretrained Diffusion

官方存储库：SalesforceAIResearch/bootpig (github.com)

一、Introduction

这部分首先介绍了个性化图像生成的背景，说明了当前的方法在个性化图像时面临的挑战。特别是，强调了如何有效利用参考图像来引导图像生成过程的重要性。

然后引出提出了一个名为BootPIG的新架构，它包括两个重复的潜在扩散模型——参考UNet和基础UNet。这个架构允许通过在基础UNet中融入参考自注意力（RSA）层来将参考图像特征融入生成过程中。接着简单的介绍了参考自注意力（RSA）层如何工作，它允许模型利用参考特征来调整和优化生成的图像。RSA层通过特定的操作允许输入的潜在特征“关注”参考特征从而在计算输出潜在特征时考虑到参考信息。

另一个点就是如何进行多参考图像处理，论文讨论了如何通过特殊的推理策略处理多个参考图像，介绍了三种不同的推理策略：Concat、Average和一种未具体描述的优化策略（Ours），每种策略都旨在以不同的方式利用多个参考图像的信息以生成更高质量的图像。

最后就是由于原始扩散模型未训练以使用RSA层，因此生成的图像可能不符合输入提示的期望。为了解决这个问题，提出了使用合成的(参考，目标)图像对对模型进行微调的方法。

二、Related Work