文生图主要以SD系列基础模型为主,以及在其基础上微调的lora模型和人物基础模型等。
,我们简单了解下提示词、lora、ComfyUI和参考图控制这些知识点:
提示词
提示词很重要,一般写法:主体描述,细节描述,修饰词,艺术风格,艺术家
Lora
Stable Diffusion中的Lora(LoRA)模型是一种轻量级的微调方法,它代表了“Low-Rank Adaptation”,即低秩适应。Lora不是指单一的具体模型,而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下,Lora被用来对预训练好的大模型进行针对性优化,以实现对特定主题、风格或任务的精细化控制。
ComfyUI
ComfyUI 是一个工作流工具,主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能,用户可以轻松地进行模型微调、数据预处理、图像生成等任务,从而提高工作效率和生成效果。
实操:
下载baseline文件
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git