Datawhale X 魔搭 AI夏令营 Task1笔记

DataWhale 开源组织网站主页：Datawhale

DataWhale AI夏令营第四期 AIGC 方向学习手册 Task1：Task1

比赛链接：可图Kolors-LoRA风格故事挑战赛

Task1 跑通最简的Baseline

Step1 搭建代码环境

1. 开通阿里云 PAI-DSW 试用

链接：阿里云免费试用 - 阿里云

 

 2. 在魔搭社区进行授权

如果是新用户的话，需要先注册魔搭社区的账号并且绑定阿里云账号。实名认证选择个人认证。 

Step2 报名赛事

报名链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制

按照图片指引进行报名即可。 

Step3 在魔搭社区创建PAI实例

链接：魔搭社区

 

在确认之后，点击下一步。 

在创建实例后，会返回魔搭社区，自动开始启动。

Step4 体验Baseline

1. 将命令复制到终端

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2. 进入colors文件，双击打开Baseline文件

3. 安装环境，重启kernel

安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

注意：要在安装完成后再进行重启

4. 调整prompt，设置想要的图片风格（选做）

5. 点击执行按钮，按顺序运行剩下模块

大约耗时 20 - 30 分钟。

代码块按功能主要分为

1. 使用Data-Juicer处理数据，整理训练数据文件

2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

3. 加载训练微调后的模型

4. 使用微调后的模型，生成用户指定的prompt提示词的图片

图片会生成在程序的结尾。

最后生成的图片