Datawhale X 魔搭 AI夏令营 Task1

AIGC 夏令营学习笔记

Task 1: 赛题解读及初步实践

1. 赛题解读

赛题背景

本次学习活动是 Datawhale 2024 年 AI 夏令营第四期的“从零入门AI生图原理&实践”，基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”进行实践学习。

赛事任务

• 使用可图Kolors模型训练LoRA模型，生成无限风格图像。
• 基于LoRA模型生成8张连贯故事图片，自定义故事内容，并评估LoRA风格的美感度及连贯性。

评分规则

• 主观评分：技术运用（40%）、组图风格连贯性（30%）、整体视觉效果（30%）。
• 客观评分：美学分数作为提交是否有效的标准。

任务提交格式

1. 上传训练的LoRA模型文件。
2. 提交作品及8张图片和对应的prompt。

赛程安排

• 初赛：报名后至2024年8月31日23:59。
• 决赛：2024年9月5日答辩展示，线上决出一二三等奖。

2. 文生图基础知识

文生图的历史

1. 早期探索：20世纪60-90年代，依赖规则和模板匹配，图像质量较低。
2. 基于统计模型的方法：2000年代，利用概率图模型和统计语言模型，图像质量有所提升但仍不够逼真。
3. 深度学习的崛起：2010年代，GAN模型提出，图像生成质量大幅提升。
4. 大规模预训练模型：2020年代，CLIP、DALL-E等模型出现，生成高质量复杂图像。

提示词、LoRA、ComfyUI和参考图控制

• 提示词：描述生成图像的主体、细节、修饰词、艺术风格等。
• LoRA：Stable Diffusion中的轻量级微调方法，优化特定主题、风格或任务。
• ComfyUI：工作流工具，简化模型配置和训练过程。
• 参考图控制：ControlNet技术，通过姿势控制、线稿控制、深度图控制等精确控制图像生成。

3. 实践步骤

Step 0：开通阿里云PAI-DSW试用

• 链接：https://datawhaler.feishu.cn/sync/DkaqdtRoIsuiyAbDBoPcacKUned

Step 1：报名赛事

• 链接：https://tianchi.aliyun.com/competition/entrance/532254

Step 2：在魔搭社区创建PAI实例

• 链接：https://datawhaler.feishu.cn/sync/AZmfdDSBGsaIxObZ2w4cStnKnid

Step 3：30分钟体验一站式Baseline

1. 下载baseline文件：

   git lfs install
   git clone https://www.modelscope.cn/datasets/maochase/kolors.git
   

2. 进入文件夹，打开baseline文件。
3. 安装环境，然后重启kernel：

   pip install -r requirements.txt
   

4. 调整prompt，设置图片风格。
5. 依次运行代码块，最终获得图片。

Step 4：微调结果上传魔搭

1. 移动结果文件：

   mkdir /mnt/workspace/kolors/output & cd
   cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt /mnt/workspace/kolors/output/
   cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/
   

2. 下载结果文件。
3. 创建并上传模型：
   • 创建模型时，中文名称格式建议为：队伍名称-可图Kolors训练-xxxxxx。

关闭PAI实例

• 链接：https://datawhaler.feishu.cn/sync/RMHtdxBnqshtNsbJHcqcMma2nLg

总结

完成了从零基础到初步实践的任务，通过理解赛题、掌握文生图基础知识，并进行实际操作生成了自己的第一幅AI生成图片。后续将继续深入学习和实践，优化模型风格和图像质量。