目录:
任务一:文生图相关知识
2、文生图基础知识
任务二:运行baseline
1、配置硬件环境
2、搭建运行环境并运行baseline
3、baseline基本结构
4、进行美学评分并微调
5、上传最优结果并关闭PAI
任务三:赛题报名
1、可图Kolors-LoRA风格故事挑战赛
任务一:文生图相关知识
1、了解文生图发展史
第一阶段:2010年之前
利用概率图模型和统计语言模型来生成图像,模型的复杂性和计算资源的限制,生成的图像仍然较为粗糙,不够逼真。
第二阶段:2010年代
深度学习,尤其是卷积神经网络(CNN)和生成对抗网络(GAN)的发展。
第三阶段:2020年代
大规模预训练模型如OpenAI的CLIP、DALL-E以及Stable Diffusion等的出现,标志着文生图技术进入了一个新的时代。
2、文生图基础知识
- 文生图主要以SD系列基础模型为主,以及在其基础上微调的lora模型和人物基础模型等
- 提示词
提示词很重要,一般写法:主体描述,细节描述,修饰词,艺术风格,艺术家
prompt="二次元,一个金色短发小男孩,在家中沙发上双腿盘坐,右手上拿着勺子,腿上放有半个西瓜,边吃边看巴黎奥运会"
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度"
任务二:运行baseline
1、配置硬件环境
简单的说要想运行baseline,最起码要有基础的硬件设备(直白一点就是电脑——满足运行要求的比如有GPU,内存要满足要求等)。这里阿里云就提供一个免费且硬件配置好的,不过需要注册。有了硬件支持剩下就是软件支持,还需要注册魔塔社区(一个开源库),并在魔塔社区授权使之能运用阿里云的云资源。
备注:
阿里云注册:(账号注册)
魔塔社区:(注册)
https://www.modelscope.cn/my/mynotebook/authorization
二者之间的授权可以参考:
2、搭建运行环境并运行baseline
搭建运行环境就是在魔塔社区中创建一个实例空间,说直接点就是创建一个跑程序的环境(这个环境包含python、markdown等),看图一下就明了了。
上面的准备工作已经完成,下面就是可以克隆代码仓库,安装依赖库,最有一步一步的运行cells。
备注:关注每一步运行的结果(如果出现错误,可以重新运行),心急的话就算了。
3、baseline基本结构
-
导入库:首先,代码导入了需要用到的库,包括 data-juicer 和微调的工具 DiffSynth-Studio
-
数据集构建:下载数据集kolors,处理数据集
-
模型微调:模型微调训练,以及加载训练后的模型
-
图片生成:调用训练好的模型生成图片
4、进行美学评分并微调
评分用来检查微调出的效果如何 ,便于参考提分。
5、关闭PAI
体验结束后,重点就是运行完了关闭PAI,否则四五天之后免费GPU就没了
任务三:赛题报名
1、可图Kolors-LoRA风格故事挑战赛
参考网址:
https://tianchi.aliyun.com/s/ce4dc8bf800db1e58d51263ff357d28f