快速接入stable diffusion的文生图能力

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

1. 大模型应用向开发路径：AI代理工作流
2. 大模型应用开发实用开源项目汇总
3. 大模型问答项目问答性能评估方法
4. 大模型数据侧总结
5. 大模型token等基本概念及参数和内存的关系
6. 大模型应用开发-华为大模型生态规划
7. 从零开始的LLaMA-Factory的指令增量微调
8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
9. 基于Langchain-chatchat的向量库构建及检索（附代码）
10. 一文教你成为合格的Prompt工程师
11. 最简明的大模型agent教程
12. 批量使用API调用langchain-chatchat知识库能力
13. langchin-chatchat部分开发笔记（持续更新）
14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
15. 大模型RAG性能提升路径
16. langchain的基本使用
17. 结合基础模型的大模型多源信息应用开发
18. COT：大模型的强化利器
19. 多角色大模型问答性能提升策略（附代码）
20. 大模型接入外部在线信息提升应用性能
21. 从零开始的Dify大模型应用开发指南
22. 基于dify开发的多模态大模型应用（附代码）
23. 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
24. 快速接入stable diffusion的文生图能力

---

---

需求介绍

最近团队研究集中在多模态大模型方向，部分业务上数据缺失，准确讲是图像缺失，因此想通过扩散模型文生图的方式造一些数据出来。
在服务器上进行sd部署费时费力费公司的计算资源。好在，hf等网站也提供了模型的使用、测试接口，能满足的一定的在线应用。但显然，在线应用对批量生成支持并不友好。

解决方案

使用paddlepaddle生态可以快速接入sd文生图能力。

# 导入框架
from PIL import Image
import paddlehub as hub
#  初始化sd
module = hub.Module(name='stable_diffusion')
 
# 开始画图
result = module.generate_image(text_prompts="A beautiful painting of a singular lighthouse, shining its light across a tumultuous sea of blood by greg rutkowski and thomas kinkade, Trending on artstation.", output_dir='stable_diffusion_out')

注意

1. sd对中文支持不友好
2. 需配置环境如下：

pip install docarray==0.21.0
pip install paddlehub