Datawhale AI夏令营第四期 魔搭-AIGC方向 task01笔记

准备工作

1. 开通阿里云PAI-DSW试用

        链接：阿里云免费试用 - 阿里云

 2.在魔塔社区授权

        链接：https://www.modelscope.cn/my/mynotebook/authorization

 

进一步准备

Step1：报名赛事！(点击即可跳转)

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

Step2：在魔搭社区创建PAI实例！（点击即可跳转）​

链接：魔搭社区

 ##如果试用额度过期，也可以用魔搭社区的免费Notebook实例##

跑！

1.下载baseline文件 

在终端里回车↓↓↓

git lfs install

git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2.打开baseline 

 

3.安装环境，然后重启kernel！ 

 

安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

 ##记得重启##

4.调整prompt，设置你想要的图片风格

即调整图片关键词，正向描述词（prompt）是希望出现的，反向描述词（negative-prompt）是不希望出现的

##关键步骤，决定生成的内容##

我在这里反复更改了几次描述词，发现只更改一部分描述词的话，大概率构图也不怎么会变，试了三次没有得到希望的构图，之后的学习中会研究解决这个问题

5.依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）

下面的代码块按照功能主要分成这几类

1. 使用Data-Juicer处理数据，整理训练数据文件

2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

3. 加载训练微调后的模型

4. 使用微调后的模型，生成用户指定的prompt提示词的图片

 心得体会

        整个流程下来还是很简单的，从生成结果来看，大部分图片还是正常且好看的，偶尔出现了一张眼镜部位没处理好的情况，此外由于反向描述词有避免弯曲变形的手指，弹钢琴的手是平的，算一个小瑕疵吧，另外有一张图的构图一直不太好，可能是我描述词存在细节性问题。

        之后的学习过程中打算学习学习里面的代码，我现在的水平是看不太懂的，希望可以在这期训练营中继续学习继续收获。