Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 笔记

可图Kolors-LoRA风格故事挑战赛
赛事链接	https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f
赛事任务	参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格...... 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性 样例：偶像少女养成日记
1、将训练好的LoRA 模型上传到魔搭模型库 LoRA模型命名为：队伍名称-可图Kolors训练-xxxxxx LoRA 上传地址：魔搭社区
初赛：报名后-2024年8月31日23:59 进入决赛标准：2024年9月2日，从初赛作品中结合专业技术评委+人气投票筛选30组选手入围决赛（客观评分+评委主观评分）

step 1 :开通阿里云PAI_DSW试用

阿里云免费试用 - 阿里云（链接）

• 开通免费试用

• 在魔搭社区进行授权

  链接：https://www.modelscope.cn/my/mynotebook/authorization

  如果这一步授权失败，可跳过此步骤，继续往下进行

  • 新用户需要先注册 & 绑定阿里云账号

  • 新用户还需要完成阿里云账号的实名认证，直接完成即可

step2 : 报名赛事

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

step3 :在魔搭社区创建PAI实例

链接：https://www.modelscope.cn/my/mynotebook/authorization

step4 :运行baseline

1.下载baseline文件

git lfs install

git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2.打开文件夹，进入baseline

3.安装环境，重启kernel

4.调整prompt，设置你想要的图片风格，依次修改8张图片的描述

正向描述词：你想要生成的图片应该包含的内容

反向提示词：你不希望生成的图片的内容 

1. 5.依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）

2. 下面的代码块按照功能主要分成这几类

   1. 使用Data-Juicer处理数据，整理训练数据文件

   2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

   3. 加载训练微调后的模型

   4. 使用微调后的模型，生成用户指定的prompt提示词的图片

step5 :结果上传魔搭

链接：https://www.modelscope.cn/models/create

1.移动结果文件

创建terminal，粘贴如下命令，回车执行

mkdir /mnt/workspace/kolors/output & cd cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/ cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

2.下载结果文件

双击进入output文件夹，分别下载两个文件到本地

3.创建模型

  点击魔搭链接，创建模型，中文名称建议格式：队伍名称-可图Kolors训练-xxxxxx

注意！！结束时要关闭PAI实例：

遇到的问题：

在加载模型过程中，遇到问题（大概翻译为无法找到路径model/.../version_0/...）

解决方法（个人）：

打开对应路径找到

将所有文件夹改为其他名称，然后重新运行

最后打开version_0文件夹查看文件是否齐全

小注：

在已生成图片一之后，修改条件让图片一重新生成时，要删除原有的图片一