AI生图原理&实践

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。

，我们简单了解下提示词、lora、ComfyUI和参考图控制这些知识点：

提示词

提示词很重要，一般写法：主体描述，细节描述，修饰词，艺术风格，艺术家

Lora

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

实操：

下载baseline文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

进入文件夹，打开baseline文件

安装环境，然后重启kernel

调整prompt，设置你想要的图片风格，依次修改8张图片的描述