Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记

目录：

任务一：文生图相关知识

        1、了解文生图发展史

        2、文生图基础知识

任务二：运行baseline

        1、配置硬件环境

        2、搭建运行环境并运行baseline

        3、baseline基本结构

        4、进行美学评分并微调

        5、上传最优结果并关闭PAI

任务三：赛题报名

        1、可图Kolors-LoRA风格故事挑战赛

---

任务一：文生图相关知识

1、了解文生图发展史

 第一阶段：2010年之前

       利用概率图模型和统计语言模型来生成图像，模型的复杂性和计算资源的限制，生成的图像仍然较为粗糙，不够逼真。

第二阶段：2010年代

        深度学习，尤其是卷积神经网络（CNN）和生成对抗网络（GAN）的发展。

第三阶段：2020年代

        大规模预训练模型如OpenAI的CLIP、DALL-E以及Stable Diffusion等的出现，标志着文生图技术进入了一个新的时代。

2、文生图基础知识

•   文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等        
• 提示词

        提示词很重要，一般写法：主体描述，细节描述，修饰词，艺术风格，艺术家

        prompt="二次元，一个金色短发小男孩，在家中沙发上双腿盘坐，右手上拿着勺子，腿上放有半个西瓜，边吃边看巴黎奥运会"

        negative_prompt="丑陋、变形、嘈杂、模糊、低对比度"

任务二：运行baseline

1、配置硬件环境

        简单的说要想运行baseline，最起码要有基础的硬件设备（直白一点就是电脑——满足运行要求的比如有GPU，内存要满足要求等）。这里阿里云就提供一个免费且硬件配置好的，不过需要注册。有了硬件支持剩下就是软件支持，还需要注册魔塔社区（一个开源库），并在魔塔社区授权使之能运用阿里云的云资源。

备注：

阿里云注册：（账号注册）

阿里云免费试用 - 阿里云

魔塔社区：（注册）

https://www.modelscope.cn/my/mynotebook/authorization 

二者之间的授权可以参考：

Datawhale

2、搭建运行环境并运行baseline 

       搭建运行环境就是在魔塔社区中创建一个实例空间，说直接点就是创建一个跑程序的环境（这个环境包含python、markdown等），看图一下就明了了。

上面的准备工作已经完成，下面就是可以克隆代码仓库，安装依赖库，最有一步一步的运行cells。

备注：关注每一步运行的结果（如果出现错误，可以重新运行），心急的话就算了。

3、baseline基本结构 

1. 导入库：首先，代码导入了需要用到的库，包括 data-juicer 和微调的工具 DiffSynth-Studio

2. 数据集构建：下载数据集kolors，处理数据集

3. 模型微调：模型微调训练，以及加载训练后的模型

4. 图片生成：调用训练好的模型生成图片

4、进行美学评分并微调

        评分用来检查微调出的效果如何 ，便于参考提分。       

5、关闭PAI

        体验结束后，重点就是运行完了关闭PAI，否则四五天之后免费GPU就没了

任务三：赛题报名

 1、可图Kolors-LoRA风格故事挑战赛

        参考网址：

        https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f