Datawhale X 魔搭 AI 夏令营第四期的学习活动 Task1笔记

---

从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向）,基于魔搭社区

1.1 文生图原理

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等

轻量级的微调方法：Lora（LoRA）

简化和优化 AI 模型的配置和训练过程：ComfyUI（还没学明白）

精确控制图像生成：ControlNet（可训练神经网络模块，更具体地指导图像生成的各个方面，如姿势关键点、分割图、深度图、颜色等）

1.2 赛事解读

可图Kolors-LoRA风格故事挑战赛
赛事链接	https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f
赛事任务	参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格...... 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性 样例：偶像少女养成日记

赛事大致介绍到这个位置，主要还是的得看要学的东西。

---

2.1 搭建环境

2.1.1 开通阿里云PAI-DSW

 使用阿里云PAI-DSW，可以免费得到交互式建模 PAI-DSW

链接：阿里云免费试用 - 阿里云

提交成功后，差不多就这样不是很麻烦。

2.1.2 魔塔社区进行账号授权

链接：魔搭社区

授权ModelScope

去授权即可

开通并授权PAI就可以了。

---

3.1 创建PAI实例

   PAI实例：魔搭社区

按照以上步骤启动就好（需要等几分钟），但创建PAI实例差不多也就到这个位置。

---

4.1 执行baseline

接下来我们就可以看到界面，点开Terminal。

PS. 终端输入 git lfs install 和 git clone 命令的原因：

1. git lfs install：git lfs 是一个用于处理大文件的Git扩展工具。执行 git lfs install 是为了安装和配置这个工具，使其能够在Git中处理大文件。

2. git clone https://www.modelscope.cn/datasets/maochase/kolors.git

作用： git clone 命令用于从远程仓库下载整个项目到本地计算机。这个命令会将位于ModelScope上的Kolors数据集代码复制到你的PAI实例中，同时训练LORA的模型。
 

粘贴命令回车执行以下的指令，拉取远程的baseline文件：

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

如图所示，差不多就是这个样子，回车就好。

执行结果如图所示。

打开文件kolors，找到baseline.ipynb，打开。

---

5.1 LORA 样例脚本

执行第一步安装，这里提前按过了，成功了会显示绿色勾。

PS. 

Data-Juicer：负责数据处理

DiffSynth-Studio ：模型训练，微调

Data-Juicer 来整理和转换数据，使数据适合用于训练。确保数据能够被正确读取和处理，提高模型训练的效果

DiffSynth-Studio 来微调和训练你的LoRA模型（Low-Rank Adaptation）

点击此按钮重启Kernel，腾出内存空间

PS. 

我记得还有这个操作，同样也可以操作。

---

6.1 运行剩余Baseline

依次执行程序就可以了，需要时间等待，这个时间还是比较长的，大约在半个小时左右。

如果我们不改初始的一些条件的话，默认选项应该是这道这个。

问题来了如果我们修改很多提示词的话，能否得到其他东西呢？同样的关键词，改变种子可以是否运行出来不一样的效果图？

一般写法：主体描述，细节描述，修饰词，艺术风格，艺术家

所以我也修改了一些

下图为结果：

我们再次修改风格，以一个美漫的风格尝试一下

（效果还可以hhh）微调训练和模型出图已经全部完成

---

7.1 微调结果上传魔搭

回到Terminal，复制代码到Terminal并按Enter即可

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

再找到output文件夹双击。

分别Download output文件夹下的两个文件，得到一个ckpt 和 jpg文件。

（我的jpg文件）

最后我只需要上传魔搭就可以了

链接：魔搭社区

到此为止完成baseline。

PS. 记得关闭PAI实例！！！！！！！

END