@Datawhale AI夏令营第四期 从零入门AI生图原理&实践 task1笔记

赛事介绍：

赛事链接：https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f

 赛事任务：

• 参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格......

• 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度及连贯性
  样例：偶像少女养成日记：

  

数据集要求：我们可以用官方提供的数据集也可以自己寻找所需的数据集

 文生图相关知识：

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等

提示词： 

对于生成图像的描述，主体描述，细节描述，修饰词，风格等等

有正向提示词和负向提示词

Lora：

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

ComfyUI:

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

完成步骤：

创建实例：

1.开通阿里云PAI-DSW试用：链接：阿里云免费试用 - 阿里云

2.赛事报名：链接：https://tianchi.aliyun.com/competition/entrance/532254

3.在魔塔社区创建PAI实例：

（若在魔塔平台无法打开，可在阿里云控制台创建并打开实例） 

跑通baseline:

1.下载相关文件：

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2.打开baseline文件

3.安装环境，然后重启kernel

4.调整prompt，设置你想要的图片风格

5. 依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片

将结果上传至魔塔：

1.移动结果文件：

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

2.下载结果

3.创建并上传模型所需内容

4.查看模型是否发布成功

5.关闭PAI实例

最终生图结果：

task1总结：

task1总体跑的还是比较顺利的，除了遇到一次提示服务器超时以外没有遇到其它大的问题。这是我第一次体验通过代码来实现AI生图体验还是很不一样的。但是目前还是一步一步按照所给的流程来跑baseline，自己并没有进行什么图像描述的修改，在后续的学习中我也会进行相关的尝试。