Datawhale X 魔搭 AI夏令营第四期AIGC方向的实践学习

学习简介

从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习——

• 适合想 入门并实践 AIGC文生图、工作流搭建、LoRA微调 的学习者参与

学习内容提要：从通过代码实现AI文生图逐渐进阶，教程偏重图像工作流、微调、图像优化等思路，最后会简单介绍AIGC应用方向、数字人技术。

接下来我将对于如何生成一个AI图片和如何参加实践学习进行一个简要的解释和说明。

第一步，参加可图Kolors-LoRA风格故事挑战赛

赛事链接

https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f

赛事任务

1. 参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格......

2. 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性。

评分规则介绍

1. 主观评分

由评委对参赛作品进行投票，评审标准可以从技术运用（40%）、组图风格连贯性（30%）、整体视觉效果（30%）几方面进行评判投票。

2. 客观评分

美学分数仅作评价提交是否有效的标准，其中美学分数小于6（阈值可能根据比赛的实际情况调整，解释权归主办方所有）的提交被视为无效提交，无法参与主观评分。

任务提交格式说明

1.将训练好的LoRA 模型上传到魔搭模型库

• LoRA模型命名为：队伍名称-可图Kolors训练-xxxxxx

• LoRA 上传地址：魔搭社区

2.作品发布在比赛品牌馆讨论区，魔搭社区

• 发布标题格式为：天池平台报名队伍名称+LoRA模型链接地址+作品图（8图故事）

第二步，正式开始训练LoRA模型，生成图片

step 1：开通阿里云PAI-DSW试用

链接：​​​​​​阿里云免费试用 - 阿里云

• 新用户需要注册&绑定阿里云账号

• 新用户还需要完成阿里云账号的实名认证，直接完成即可

• 开通免费试用

开通PAI-DSW 试用 ，可获得 5000算力时！有效期3个月！

如果已经开通试用或试用已过期，可以跳过此步骤，使用魔搭免费GPU额度或寻找其他的算力方案。

• 在魔搭社区进行授权

链接：https://www.modelscope.cn/my/mynotebook/authorization

如果这一步授权失败，可跳过此步骤，继续往下进行

step 2 ：报名赛事

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

点击报名比赛，即可报名成功

step 3 ：在魔搭社区创建PAI实例

链接：https://www.modelscope.cn/my/mynotebook/authorization

创建实例，启动！

如果在上一步授权失败，可到阿里云控制台创建 & 打开实例，具体步骤详见下方子步骤

step 4 ：打开实例

注意（其他情况）

如果在魔塔无法授权或者点击【打开】无法打开，可到阿里云控制台创建&打开实例

首先，打开管理控制台

其次，创建实例

最后，打开实例

• 如果之前试用的额度已经过期，可使用魔搭的免费Notebook实例

  

step 5 ：下载baseline文件

1 git lfs install
2 git clone https://www.modelscope.cn/datasets/maochase/kolors.git

step 6 ：打开baseline文件

step 7 ：安装环境，并重启kernel

安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

重启kernel

在实例中的接下来的代码块内容

1. 数据集的下载和数据集中的图片及元数据的保存

2. 使用Data-Juicer处理数据，整理训练数据文件

3. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

4. 加载训练微调后的模型

5. 使用微调后的模型，生成用户指定的prompt提示词的图片

step 8 : 根据实例中的代码，依次顺序运行剩余的代码块

step 9 ：调整prompt，生成图像

正向描述词：你想要生成的图片应该包含的内容

反向提示词：你不希望生成的图片的内容

step 10 : 运行最后的代码块，最终获得图片

step 11：微调结果上传魔搭

链接：https://www.modelscope.cn/models/create

1. 移动结果文件

创建terminal，粘贴如下命令，回车执行

1 mkdir /mnt/workspace/kolors/output & cd 
2 cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
3 cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

 

2. 下载结果文件

双击进入output文件夹，分别下载两个文件到本地

3. 创建并上传模型所需要的内容

  点击魔搭链接，创建模型，中文名称建议格式：队伍名称-可图Kolors训练-xxxxxx

这样就算创建完成并发布在创空间讨论区了。

4. 来到创空间，查看自己的模型是否发布

step 12 ：关闭PAI实例

链接：https://www.modelscope.cn/my/mynotebook/authorization

运行完成后，别忘了回到魔搭，【关闭】实例，否则会一直消耗你的试用额度！

每小时消耗大概7个试用额度！（总共5000个，有效期三个月）

做完这些步骤以后，这样就完成了一个AI图片，并进行了发表和参赛。

附录

从零入门AI生图原理&实践：Datawhale