Datawhale X 魔搭 AI夏令营第四期-AIGC task01小白笔记

从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。

Datawhale官方的速通教程链接：Task 1 从零入门AI生图原理&实践

赛题内容

1. 参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格......

2. 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性

样例：偶像少女养成日记

相关作品在比赛品牌馆讨论区

Docs

Step1：报名赛事！(点击即可跳转)

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

点击报名比赛，即可报名成功

Step2：在魔搭社区创建PAI实例！（点击即可跳转）

Docs

Step3：30 分钟体验一站式 baseline！

1. 下载baseline文件（大约需要2分钟）

2. 进入文件夹，打开baseline文件

1. 安装环境，然后重启kernel

   安装 Data-Juicer 和 DiffSynth-Studio

   Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

   DiffSynth-Studio：高效微调训练大模型工具

1. 调整prompt，设置你想要的图片风格，依次修改8张图片的描述（可选）

   正向描述词：你想要生成的图片应该包含的内容

   反向提示词：你不希望生成的图片的内容

1. 依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）

   下面的代码块按照功能主要分成这几类

   1. 使用Data-Juicer处理数据，整理训练数据文件

   2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

   3. 加载训练微调后的模型

   4. 使用微调后的模型，生成用户指定的prompt提示词的图片

Step4：微调结果上传魔搭（点击即可跳转）

链接：https://www.modelscope.cn/models/create

1. 移动结果文件

   创建terminal，粘贴如下命令，回车执行

   mkdir /mnt/workspace/kolors/output & cd cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/ cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

2. 下载结果文件

   双击进入output文件夹，分别下载两个文件到本地

3. 创建并上传模型所需内容

     点击魔搭链接，创建模型，中文名称建议格式：队伍名称-可图Kolors训练-xxxxxx

这样就算创建完成并发布在创空间讨论区了。

1. 来到创空间，查看自己的模型是否发布

关闭PAI实例！！！！（点击即可跳转）

Docs

学习时间表

从零入门 文生图原理&实践 学习规划表
Task	Task 描述	相关知识点	学习安排
Task 1：4天 8月8日~8月11日	打怪难度：简单 学习文生图相关原理 熟悉魔搭相关文生图工具&应用 完成可图故事赛体验 写笔记，完成 Task1 打卡	赛事解读 AI文生图相关概念 可图模型及微调简介 魔搭社区零代码生图、微调工具介绍 魔搭社区AI生图相关应用介绍	开营直播 2024年/8月/11号 20:30
Task 2：3天 8月12日~8月14日	打怪难度：⭐️ 精读baseline和背景知识、在群里分享思考 学习如何使用AI辅助学习 学习Prompt工程、微调 写笔记，完成Task2 打卡	使用通义辅助精读代码 文生图Prompt工程 Scepter与WebUI：可视化生图 其他应用案例拆解	Task2直播分享 2024年/8月13号 20:30
Task 3：3天 8月15日~8月17日	打怪难度：⭐️⭐️ 精读 baseline2、在群里分享思考 图像工作流、Lora微调基本原理 写笔记，完成 Task3 打卡	赛事上分点1：comfyUI工作流 赛事上分点2：LoRA微调 赛事上分点3：高质量数据集	赛事解读与上分直播分享 2024年/8月/17号 19:00
选学辅助材料 8月17日-8月20日	打怪难度：⭐️⭐️ 选学部分，没有打卡要求 按需学习即可	AI生图在市场中的应用介绍 最新图像生成技术研究方向-介绍与分析 画质修复增强技术及应用 艺术字生成及海报设计 虚拟试衣：介绍文生图在虚拟试衣领域的应用场景与方法 从图像生成到说唱数字人应用