全网最全，保姆级Stable Diffusion系列入门使用教程下篇（图生图、LoRA、提示词权重）

最新推荐文章于 2024-09-17 16:52:57 发布

AI绘画月月

最新推荐文章于 2024-09-17 16:52:57 发布

阅读量821

点赞数 16

文章标签： stable diffusion 人工智能 AIGC

本文链接：https://blog.csdn.net/2401_84760719/article/details/141254177

版权

今天来把剩下来的常用功能都介绍完，内容包含：LoRA、图生图、提示词权重。

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

一、LoRA

1、什么是LoRA

LoRA通常称之为微调模型，用于满足指定的风格或者人物特征属性。这种技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化，而不是对整个模型进行训练。

LoRA几大特点

**①****文件大小小：**LoRA模型通常比检查点模型小10到100倍，文件大小更易于管理（2 – 200 MB），这使得它们对于需要存储大量模型的用户来说非常有吸引力。

**②****训练效率高：**LoRA技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化，而不是对整个模型进行训练，这使得训练过程更快。

**③****易于使用：**LoRA可以作为现有Stable Diffusion模型的插件或扩展，用户可以通过在提示中包含特定的LoRA模型指令来轻松地使用它们。

**④****风格定制能力强：**LoRA允许用户针对不同的创作需求定制模型，无论是想要生成特定风格的图像还是特定主题的内容，LoRA都能提供相应的支持。

**⑤****社区支持广泛：**LoRA技术得到了广泛的社区支持，许多开发者和艺术家分享了他们的LoRA模型和使用经验，这为新手和爱好者提供了丰富的资源和灵感。

2、下载LoRA

选择下载带有LoRA标识的文件

①科学上网下载：https://civitai.com

②国内下载地址：https://www.liblib.art

3、使用LoRA

①在SD工具界面中点击LoRA选择需要使用的LoRA

②选择之后提示词后面会加上LoRA的内容

最后点击生成，同一个提示词用LoRA与不用LoRA的两种效果。

4、上传LoRA：

①本地部署的用户直接放入models文件夹下LoRA目录中就可以了

②云端部署以AutoDL为例，不了解的可以看上一篇内容中的模型上传部分：

下载阿里云盘中的LoRA文件至autodl-tmp目录下

将LoRA文件剪切至models文件夹下的LoRA目录就可以了

二、图生图

功能按钮就在文生图旁边，这里还有6块不同的功能，下面就一一来介绍。

以下所有蒙版均代表涂鸦的地方。

1、图生图

图1部分可以选择一份参考的图片上传，生成图片的内容依照参考图产生。

图2部分会根据宽高的变化而改变图片的产出效果。

图3部分点击会使用原图的宽高尺寸。

图4部分的重绘强度是图生图最关键的属性。

如果值越低则与原图越相似，相反则和原图差距会越来越大。0.3以内基本无变化，0.7以上就会产生较大的变化。（案例中选择的是0.1）

2、绘图

此功能提供了几个操作按钮，可以通过指定位置+提示词，改变图片中的内容。

比如在女孩脖子上加一条项链，加上“一条项链”提示词，且将需要变化的地方手绘上去。

这时候重绘幅度最好调整到0.5

可以看到这个功能有的问题就是，生成出来的图片与原图变化较大，这是绘图功能的一个限制，不过后面的其他功能可以弥补这个缺点。

3、局部重绘

点击局部重绘又会多了几个选项。

①蒙版模糊：最好不要改，保持默认值

②重绘蒙版内容：涂哪里重绘哪里

③重绘非蒙版内容：涂哪里不重绘哪里

另外填充、原图、潜变量噪声、潜变量数值零的效果我们直接看图

将需要重绘的地方涂上，加上提示词

全图与仅蒙版的区别在于，全图会根据整张图片进行重绘，而仅蒙版则只对于涂的地方进行高精度的重绘，如果需要重绘一些要求高的部分，可以选择仅蒙版的模式。

4、局部重绘（手涂蒙版）

此功能弥补了绘图中的问题

同时还提供了模糊度、透明度的范围选择。

5、局部重绘（上传蒙版）

这里需要上传一张原图，再上传一张蒙版图，SD就可以根据蒙版图重绘原图中的元素。

生成图片效果如下

6、批量处理

此功能其实就是局部重绘（上传蒙版）的批量模式，操作有如下要求

要求1：批量处理需要指定3个文件夹，①原图目录、②输出图片目录、③蒙版图片目录

要求2：文件夹路径必须是英文或数字

要求3：确保原图目录中的图片与蒙版图片目录中的图片数量、名称、大小比例一致

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

三、提示词权重

提示词权重是什么呢？

在提示词内容比较多的时候，SD有时候不能识别一些关键词，导致无法生成想要的效果，这时候给该关键词加上权重修饰，就可以让工具重点识别了。（在我们之前给出的反向词例子中，有很多括号括起来的内容，这些就是给关键词加权重的操作。）

EasyNegative, ng_deepnegative_v1_75t, badhandv4,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative,skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head,lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature,watermark, username,blurry,cropped,jpeg artifacts,text,error

当然有加权重就有减权重的操作，以下就是权重修饰使用的说明

①如何使用

内容填写(提示词:倍数)

例如(red dress:1.5)

这里就是把red dress的关键词权重增加了1.5倍

②修饰符号

()默认是1.1倍，套用(())的话是每层增加1.1倍

[]默认是0.9倍，减少权重，也可以套用[[]]，每层减少0.9倍

{}默认每层增加1.05倍

根据实际情况，增加或者减少权重修饰，在实际运用中。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。