大家好,我是程序员晓晓
Stable Diffusion作为一种强大的文本到图像模型,不仅能够生成令人惊叹的视觉效果,还能根据指令创造出几乎任何想象中的场景。然而,在创作连续性故事或系列插图时,保持人物的一致性成为了不少创作者面临的挑战。本文将探讨如何利用Lora技术,让生成的角色在不同的图像之间保持一致性和连贯性以及训练模型教程。
今天我就来分享一下如何自己动手训练一个专属于自己人脸的Lora模型,本期教程所用到的 “秋枼大佬Lora训练器” 和 AI绘画工具StableDiffusion 安装包可以看下方或文末扫描免费获取哦
Lora简介
定义:Lora是一种轻量级的微调方法,旨在对预训练模型进行高效调整,而无需修改其原始权重。
原理:通过在原有模型参数上添加低秩矩阵,以最小化计算和存储成本的方式实现模型的个性化定制。
优势:与传统的全模型微调相比,Lora能显著减少所需的计算资源,并且易于恢复到原始模型状态。
为什么需要角色一致性
故事连贯性:在构建一个叙事或系列作品时,保持角色外观的一致性对于维持故事的连贯性和观众的沉浸感至关重要。
品牌识别度:对于品牌营销和IP开发而言,具有独特特征的角色能够更容易地被观众记住并产生情感共鸣。
创作效率:一旦成功训练出符合需求的LoRA模型,就可以快速生成大量高质量且风格统一的图像。
如何使用Lora模型
1、打开AI绘画工具StableDiffusion(简称SD)工具下载请扫描免费获取哦,把lora文件放到SD的根目录下的models\Lora下面
2、重新加载lora
3、点击想要的lora,左下角就是lora的名称
4、lora名称也会显示在提示词里面,此时可以更改比重
5、确认完毕后点击生成,需要注意不同Stable Diffusion 模型(左上角选择)生成的lora效果会不一样
如何训练Lora
1、准备数据集: 收集一系列包含目标角色的图像,这些图像应尽可能覆盖角色的各种表情、姿势和背景环境。
2、下载秋枼训练软件压缩包,解压后直接打开即可(训练器下载请看上方扫描免费获取哦)
进入新手模式后,需要选择训练LoRA使用的大模型:底模文件路径,选择你要训练Lora使用的大模型,直接点击右侧的小文件夹选择即可。
训练数据集路径:在选择这一步之前,需要现在sd/lora-scripts-v1.7.3/train这个文件夹下建一个文件夹,在文件夹在里面建一个“数字_英文名”的文件夹,将之前打标好的图和标签一起复制到“数字_英文名”的文件中。
修改分辨率(之前数据集的尺寸是多少,这里就用多少)保存设置:保存模型的名称修改成你想要的名称,点击开始训练,就可以在终端看到它正在疯狂训练中…这个时间会比较久,慢慢等待就好。
3、通过训练包软件生成lora。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
