StyleDrop: 谷歌关于图像风格提取的魔法

StyleDrop

Summary

题目: StyleDrop: Text-to-Image Generation in Any Style
机构：谷歌
论文: https://arxiv.org/pdf/2306.00983.pdf
代码：未开源代码 https://styledrop.github.io，有非官方实现
任务: 图像风格学习
特点: 1张或者几张图像即可进行训练
方法: Muse + Adapter tuning + iterative training with feedback
前置相关工作：Muse, Adapter tuning, CLIP, Imagen, MaskGIT

Abstract

尽管文生图如火如荼，但是如何通过文本生成图像的风格是很难做到的，因为文本本身就具有含糊之处，很难去很好地刻画诸如设计版式，质地，材料等性质。在本文中，我们提出了StyleDrop这样一种方法，能够通过文生图模型很好地进行风格的遵循以及生成。它能够很高效地进行新风格的学习，但只需要finetune非常少的训练参数&