LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation

基本信息

• 📝 原文链接: https://arxiv.org/abs/2412.05148
• 👥 作者: Donald Shenaj, Ondrej Bohdal, Mete Ozay, Pietro Zanuttigh, Umberto Michieli
• 🏷️ 关键词: personalization, LoRA, image generation
• 📚 分类: 机器学习, 计算机视觉

摘要

中文摘要

近期图像生成模型的发展使得个性化图像创作成为可能，用户既可定义主题（内容）也可选择风格。先前的工作通过基于优化的方法合并相应的低秩自适应参数（LoRAs）来实现个性化，但这些方法计算量大，不适合在资源受限的设备如智能手机上实时使用。为了解决这个问题，我们引入了LoRA.rar方法，它不仅提高了图像质量，而且在合并过程中实现了超过4000倍的显著加速。LoRA.rar预先训练了一个超网络，在多种内容-风格LoRA对上进行，学习了一种高效的合并策略，该策略可以推广到新的、未见过的内容-风格对，从而实现快速、高质量的个人化。此外，我们识别了现有内容-风格质量评估指标的限制，并提出了一种新的协议，使用多模态大型语言模型（MLLM）进行更准确的评估。我们的方法在内容和风格