Datawhale AI夏令营第四期魔搭-AIGC方向 task01笔记-CSDN博客

本文链接：https://blog.csdn.net/z1234_5_/article/details/141063564

赛事相关

https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f

要求

参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格......

基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性样例：偶像少女养成日记

跑通baseline流程

Step1 开通各种账号以及试用

注册阿里云账号
开通PAI-DSW免费试用阿里云免费试用 - 阿里云

可在左上角我的试用中看到详细信息

在魔搭社区进行授权https://www.modelscope.cn/my/mynotebook/authorization

Step2 创建PAI实例

这里注意选第二个，其他的默认选项即可
接着启动1的实例（一个即可）就可以进入开发环境

Step3 开始CV跑通baseline

将接下来两行代码粘贴进终端

git lfs install 
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

接下来进入kolors文件夹进入baseline.ipynb文件，里面有已经写好的代码，先运行第一步中的代码，这一步是为了安装 Data-Juicer 和 DiffSynth-Studio两个工具
Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具
注意：在运行代码第一步的代码后要重启一下kernel
接下来是可以自由修改的地方
修改prompt可以呈现出不同效果的图片
然后依次运行剩余代码块（此过程可能比较耗时，耐心等待即可）
运行结束后左侧会多出八张图片即为结果

Step4 将结果上传魔搭

运行以下三行代码，结果是在kolors目录下创建一个output文件夹，并将1.jpg以及一个.ckpt文件复制到output文件夹中

mkdir /mnt/workspace/kolors/output & cd
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/