名词解释:
LoRA:“Low-Rank Adaptation”,即低秩适应,是一种轻量级的微调方法,即通过特定微调技术应用于基础模型的扩展应用。
文字生成图片+LoRA的主要过程:
Lora对预训练好的大模型进行针对性优化,以实现对特定主题、风格或任务的精细化控制
提示词
提示词很重要,一般写法:主体描述,细节描述,修饰词,艺术风格,艺术家
下文目标
在 30分钟 内,从一个完全小白的选手,跑通 “可图Kolors-LoRA风格故事挑战赛”
1.开通阿里云交互式建模 PAI-DSW免费试用
2. 在魔搭社区授权阿里云账户,创建PAI实例
地址:https://www.modelscope.cn/my/mynotebook/authorization
授权:我对NoteBook->个人实例,前两步授权,后一步创建实例(注意“资源配额”的选择)。
3. 环境准备:
创建实例后,启动,
打开终端窗口:输入命令,克隆项目。
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git
克隆完成,进入kolas文件夹,打开baseline文件,点击执行代码实现安装环境,装好了重启内核。
实现效果:安装 Data-Juicer 和 DiffSynth-Studio
Data-Juicer:数据处理和转换工具,旨在简化数据的提取、转换和加载过程
DiffSynth-Studio:高效微调训练大模型工具
![执行代码](https://i-blog.csdnimg.cn/direct/c961878e98a1450589d8b3764d8b47f3.png)
![重启内核](https://i-blog.csdnimg.cn/direct/2643a91625024da886f969a5244fa7e7.png)
4. 修改提示语,生成图片
常见好用的提示语:
【待总结】
不过目前不会基于第一次生成的图片进行第二次微调,只会修改提示词,然后整个重新执行。
5.移动图片位置、按序生成一张大图片、下载指定输出文件、填入比赛链接。