Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task1笔记

目录

Step1：开通阿里云PAI-DSW试用

1.开通免费使用

2.在魔搭社区进行授权

Step2：报名赛事

Step3：在魔搭社区创建PAI实例

1.创建实例

2.打开实例

Step4：30分钟体验一站式baseline

1.下载baseline文件

2.进入kolors文件夹，打开baseline文件

3.安装环境，然后重启kernel

4.调整prompt，设置你想要的图片风格，依次修改8张图片的描述

5.依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片

Step5：微调结果上传魔搭

1.移动结果文件

 2.下载结果文件

3.创建并上传模型所需内容

Step6：关闭PAI实例

---

Step1：开通阿里云PAI-DSW试用

链接：阿里云免费试用 - 阿里云

开通PAI-DSW 试用 ，可获得 5000算力时，有效期3个月。

• 注意多模态数据合成方向无法通过魔搭免费GPU执行

1.开通免费使用

登录后在交互式建模 PAI-DSW点击试用、点击立即试用、开通使用成功后关闭即可

2.在魔搭社区进行授权

连接：https://www.modelscope.cn/my/mynotebook/authorization

点击个人云账号授权实例，复制UID，点击去授权，点击同意授权，粘贴复制的UID，点击确定

新用户需要先注册并绑定阿里云账号

Step2：报名赛事

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

点击报名比赛即可报名成功

Step3：在魔搭社区创建PAI实例

连接：https://www.modelscope.cn/my/mynotebook/authorization

1.创建实例

点击创建实例、起名，选择第二个【支持资源包折扣】，下一步，创建实例

2.打开实例

如果试用的额度不可用，可使用魔搭的免费Notebook实例

Step4：30分钟体验一站式baseline

1.下载baseline文件

打开终端，粘贴以下命令，回车运行

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git​

2.进入kolors文件夹，打开baseline文件

3.安装环境，然后重启kernel

安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

4.调整prompt，设置你想要的图片风格，依次修改8张图片的描述

prompt：你想要生成的图片应该包含的内容

negative_prompt：你不希望生成的图片的内容

5.依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片

下面的代码块按照功能主要分成这几类

1. 使用Data-Juicer处理数据，整理训练数据文件

2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

3. 加载训练微调后的模型

4. 使用微调后的模型，生成用户指定的prompt提示词的图片

Step5：微调结果上传魔搭

链接：https://www.modelscope.cn/models/create

1.移动结果文件

创建terminal(File>>New>>Terminal)，粘贴如下命令，回车执行

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

 2.下载结果文件

双击进入output文件夹，分别下载两个文件到本地

3.创建并上传模型所需内容

点击魔搭链接，创建模型

Step6：关闭PAI实例

运行完成后，别忘了回到魔搭，【关闭】实例，否则会一直消耗你的试用额度！

每小时消耗大概7个试用额度