PAI-Diffusion 中文模型全面升级，海量高清艺术大图一键生成

背景

以Stable Diffusion模型为代表，AI生成内容（AI Generated Content，AIGC）的模型和应用呈现出井喷式的增长趋势。在先前的工作中，阿里云机器学习PAI团队开源了PAI-Diffusion系列模型（看这里），包括一系列通用场景和特定场景的文图生成模型，例如古诗配图、二次元动漫、魔幻现实等。这些模型的Pipeline除了包括标准的Diffusion Model，还集成了PAI团队先前提出的中文CLIP跨模态对齐模型（看这里）使得模型可以生成符合中文文本描述的、各种场景下的高清大图。此外，由于Diffusion模型推理速度比较慢，而且需要耗费较多的硬件资源，我们结合由PAI自主研发的编译优化工具 PAI-Blade，支持对PAI-Diffusion模型的端到端的导出和推理加速，在A10机器下做到了1s内的中文大图生成（看这里）。在本次的工作中，我们对之前的PAI-Diffusion中文模型进行大幅升级，主要的功能扩展包括：

• 图像生成质量的大幅提升、风格多样化：通过大量对模型预训练数据的处理和过滤，以及训练过程的优化，PAI-Diffusion中文模型生成的图像无论在质量上，还是在风格上都大幅超越先前版本；
• 丰富的精细化模型微调功能：除了对模型的标准微调，PAI-Diffusion中文模型支持开源社区的各种微调功能，包括LoRA、Textual Inversion、DreamBooth、ControlNet等，支持各类图像生成和编辑的功能；
• 简单易用的场景化定制方案：除了训练各种通用场景下的中文模型，我们也在垂类场景下做了很多尝试和探索，通过场景化的定制，可以在各种产品中使用这些模型，包括Diffuser API、WebUI等。

在下文中，我们详细介绍PAI-Diffusion中文模型的新功能和新特性。

艺术画廊

在详细介绍PAI-Diffusion中文模型及其功能前，我们首先带大家参观我们的艺术画廊，下面的所有图片都采用PAI-Diffusion中文模型真实生成。