CLIP-GEN是基于CLIP模型的改进，能够在无文本图像数据集上训练，生成逼真的图像。它使用VQGAN和condition transformer学习文本到图像的映射，减少了对带文字描述图片数据集的依赖。幻方AI对其进行了复现和优化，通过3FS、hfreduce和算子加速训练过程，并开源了相关资源。
实验｜King小杞 算力支持｜幻方AIHPC
CLIP-GEN
随着 Transformer 模型的发展，近些年多模态模型获得了长足的发展，使得不同任务不同领域可以实现特征的打通，变换出很多新奇好玩的场景。其中非常热门的就是让 AI 学会看文作图，即文字生成图像，如 OpenAI 的 CLIP 模型，其基于带文字的图像数据集上，训练出很惊艳的效果。
然而，收集这些带文字的图像数据集成本非常高。最近字节在 Arxiv 上发表了一项文本生成图像 (text2img) 的工作，其利用对抗网络 GAN 改造 CLIP模型，使得 CLIP-GEN 可以不依赖带文字描述的图片数据集，直接使用无文本图像数据集进行训练，通过预训练好的 CLIP 模型建立起文本和图像的映射关系。在很多实验数据中表明，它的效果比 VQGAN-CLIP 要真实，尤其是泛化能力还比不少用大量“文本-图像”数据对训练出来的模型要好很多。
最低0.47元/天 解锁文章
2008
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
