Datawhale X魔搭AI夏令营 AIGC方向Task01学习笔记
一:赛事任务
-
参赛者需在可图Kolors 模型的基础上训练LoRA 模型,生成无限风格,如水墨画风格、水彩风格、赛博朋克风格、日漫风格......
-
基于LoRA模型生成 8 张图片组成连贯故事,故事内容可自定义;基于8图故事,评估LoRA风格的美感度及连贯性 样例:偶像少女养成日记
二:文生图基本介绍
1.文生图主要以SD系列基础模型为主,以及在其基础上微调的lora模型和人物基础模型等。
2.提示词
提示词很重要,一般写法:主体描述,细节描述,修饰词,艺术风格,艺术家
举个例子
【promts】Beautiful and cute girl, smiling, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, super detail, 8k
【负向prompts】(lowres, low quality, worst quality:1.2), (text:1.2), deformed, black and white,disfigured, low contrast, cropped, missing fingers
3.Lora
Stable Diffusion中的Lora(LoRA)模型是一种轻量级的微调方法,它代表了“Low-Rank Adaptation”,即低秩适应。Lora不是指单一的具体模型,而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下,Lora被用来对预训练好的大模型进行针对性优化,以实现对特定主题、风格或任务的精细化控制。
三.操作步骤(速通指南)
1)开通阿里云PAI-DSW试用
依据教程操作,新用户需先注册(建议支付宝登录)
2)进入魔搭社区进行授权
链接 :https://www.modelscope.cn/my/mynotebook/authorization
链接:https://tianchi.aliyun.com/competition/entrance/532254
4)创建PAI实例子
5)速通baseline
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git
文件下载
打开文件
接着安装环境
然后重启kernel
运行代码然后获得图片
(可调整prompt得到你想要的图片)下图我操作所得照片
结果上传
https://www.modelscope.cn/models/create
关闭实例
https://www.modelscope.cn/my/mynotebook/authorization
注意!
运行完成后,别忘了回到魔搭,【关闭】实例,否则会一直消耗你的试用额度!
(总共5000个额度,有效期三个月,每小时消耗大概7个试用额度)