阿里云PAI-Diffusion功能再升级，全链路支持模型调优，平均推理速度提升75%以上

导读

随着Stable Diffusion模型在AI圈的爆火，AI生成内容（AI Generated Content，AIGC）的应用呈现出井喷式的增长趋势。其中，文图生成（Text-to-image Generation）任务是最流行的AIGC任务之一，旨在生成与给定文本对应的图像。在先前的工作中，阿里云机器学习PAI团队开源了PAI-Diffusion系列模型（看这里），包括一系列通用场景和特定场景的文图生成模型，例如古诗配图、二次元动漫、魔幻现实等。这些模型的Pipeline除了包括标准的Latent Diffusion Model，还集成了PAI团队先前提出的中文CLIP跨模态对齐模型（看这里），及图像超分模型，使得模型可以生成符合中文文本描述的、各种场景下的高清大图。由于在特定场景下，用户往往有对这些中文Diffusion模型调优（Fine-tune）的需求，而且在线上部署方面，由于Diffusion模型推理速度比较慢，而且需要耗费较多的硬件资源。在本次的工作中，我们在EasyNLP算法框架中，对先前提出的PAI-Diffusion模型功能进行升级，全链路支持模型调优。在模型推理方面，结合由PAI自主研发的编译优化工具 PAI-Blade，支持对PAI-Diffusion模型的端到端的导出和推理加速，在A10机器下做到了1s内的中文大图生成。

本⽂首先介绍如何体验PAI-Diffusion模型以及其在线部署、加速推理能力。其次，我们简单回顾了PAI-Diffusion模型的架构，之后详细介绍了在EasyNLP算法框架中对上述模型进行调优的全链路支持。

轻松体验PAI-Diffusion模型

首先让我们轻松体验PAI-Diffusion模型。

在线体验

PAI-Diffusion模型可以用于各种风格的艺术画的生成。这个模型的参数量仅10亿，使用一张P100 GPU显卡，就可以生成1024*1024的高清大图，示例如下。

我们在AI模型开源社区ModelScope的创空间上线了我们的一个PAI-Diffusion模型（体验链接），欢迎广大用户体验。

PAI-Diffusion模型架构回顾

我们简单回顾一下PAI-Diffusion模型的技术架构。简单的说，PAI-Diffusion模型是面向中文的、基于隐式扩散模型（Latent Di