Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记

目录

第一步：开通阿里云试用

第二步：报名赛事

第三步：创建PAI实例

第四步：体验baseline

第五步：微调结果上传

第六步：关闭PAI实例

---

第一步：开通阿里云试用

​

第二步：报名赛事

​

第三步：创建PAI实例

​​

点击启动

​

然后打开

​

第四步：体验baseline

1，下载baseline文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2， 进入 文件夹，打开baseline文件

 3，安装环境，然后重启kernel

安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

4，调整prompt，设置你想要的图片风格，依次修改8张图片的描述（可选）

正向描述词：你想要生成的图片应该包含的内容

反向提示词：你不希望生成的图片的内容

5，依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片

下面的代码块按照功能主要分成这几类

1. 使用Data-Juicer处理数据，整理训练数据文件

2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

3. 加载训练微调后的模型

4. 使用微调后的模型，生成用户指定的prompt提示词的图片

第五步：微调结果上传

1，移动结果文件

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

2，下载结果文件

3，创建并上传模型所需内容

4，查看发布

第六步：关闭PAI实例