Datawhale X 魔搭 AI夏令营-AIGC方向task01

一、文生图基础知识介绍

1.1流程

1.1.1提示词

一般写法：主体描述，细节描述，修饰词，艺术风格，艺术家（越往前比重越大）

1.1.2 Lora

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。

1.1.3ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。

1.1.4参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。

二、运行baseline

1.下载baseline文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

这一步是为了拉取远程的baseline文件

2. 进入文件夹，打开baseline文件

3.3. 安装环境，然后重启kernel

接下来执行运行环境的代码块，我们需要安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程
DiffSynth-Studio：高效微调训练大模型工具

安装完成后，重启kernel，不重启容易爆显存影响baseline运行

4. 调整prompt，设置你想要的图片风格，依次修改8张图片的描述（可选）