【AI绘画】全网最全，保姆级Stable Diffusion系列入门使用教程下篇（图生图、LoRA、提示词权重）

写编程的木木

于 2024-09-05 10:19:04 发布

阅读量1k

点赞数 13

文章标签： AI作画 stable diffusion 人工智能

本文链接：https://blog.csdn.net/HJS123456780/article/details/141923485

版权

大家好，我是木木，又到了我们每天的分享时间。

今天来介绍SSD常用功能，内容包含：LoRA、图生图、提示词权重。

在这里插入图片描述

一、LoRA

1、什么是LoRA

LoRA通常称之为微调模型，用于满足指定的风格或者人物特征属性。这种技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化，而不是对整个模型进行训练。

LoRA几大特点

①文件小： LoRA模型通常比检查点模型小10到100倍，文件大小更易于管理（2 – 200 MB），这使得它们对于需要存储大量模型的用户来说非常有吸引力。

②训练效率高： LoRA技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化，而不是对整个模型进行训练，这使得训练过程更快。

③易于使用： LoRA可以作为现有Stable Diffusion模型的插件或扩展，用户可以通过在提示中包含特定的LoRA模型指令来轻松地使用它们。

④风格定制能力强： LoRA允许用户针对不同的创作需求定制模型，无论是想要生成特定风格的图像还是特定主题的内容，LoRA都能提供相应的支持。

⑤社区支持广泛： LoRA技术得到了广泛的社区支持，许多开发者和艺术家分享了他们的LoRA模型和使用经验，这为新手和爱好者提供了丰富的资源和灵感。

2、下载LoRA

选择下载带有LoRA标识的文件

C站下载：https://civitai.com
注：需要魔法上网，不会的小伙伴可以到下方找我领取已经打包好的常用Lora合集。

在这里插入图片描述

3、使用LoRA

①在SD工具界面中点击LoRA选择需要使用的LoRA

在这里插入图片描述

②选择之后提示词后面会加上LoRA的内容

在这里插入图片描述

最后点击生成，同一个提示词用LoRA与不用LoRA的两种效果。

在这里插入图片描述

二、图生图

功能按钮就在文生图旁边，这里还有6块不同的功能，下面就一一来介绍。

以下所有蒙版均代表涂鸦的地方。

在这里插入图片描述

1、图生图

在这里插入图片描述

图1部分可以选择一份参考的图片上传，生成图片的内容依照参考图产生。

图2部分会根据宽高的变化而改变图片的产出效果。

图3部分点击会使用原图的宽高尺寸。

图4部分的重绘强度是图生图最关键的属性。

如果值越低则与原图越相似，相反则和原图差距会越来越大。0.3以内基本无变化，0.7以上就会产生较大的变化。（案例中选择的是0.1）

在这里插入图片描述

2、绘图

此功能提供了几个操作按钮，可以通过指定位置+提示词，改变图片中的内容。

在这里插入图片描述

比如在女孩脖子上加一条项链，加上“一条项链”提示词，且将需要变化的地方手绘上去。

在这里插入图片描述

这时候重绘幅度最好调整到0.5

在这里插入图片描述

可以看到这个功能有的问题就是，生成出来的图片与原图变化较大，这是绘图功能的一个限制，不过后面的其他功能可以弥补这个缺点。

3、局部重绘

点击局部重绘又会多了几个选项。

①蒙版模糊：最好不要改，保持默认值

②重绘蒙版内容：涂哪里重绘哪里

③重绘非蒙版内容：涂哪里不重绘哪里

在这里插入图片描述

另外填充、原图、潜变量噪声、潜变量数值零的效果我们直接看图

将需要重绘的地方涂上，加上提示词

在这里插入图片描述

全图与仅蒙版的区别在于，全图会根据整张图片进行重绘，而仅蒙版则只对于涂的地方进行高精度的重绘，如果需要重绘一些要求高的部分，可以选择仅蒙版的模式。

4、局部重绘（手涂蒙版）

此功能弥补了绘图中的问题

同时还提供了模糊度、透明度的范围选择。

在这里插入图片描述

5、局部重绘（上传蒙版）

这里需要上传一张原图，再上传一张蒙版图，SD就可以根据蒙版图重绘原图中的元素。

在这里插入图片描述

生成图片效果如下

在这里插入图片描述

6、批量处理

此功能其实就是局部重绘（上传蒙版）的批量模式，操作有如下要求

要求1：批量处理需要指定3个文件夹，①原图目录、②输出图片目录、③蒙版图片目录

在这里插入图片描述
要求2：文件夹路径必须是英文或数字

要求3：确保原图目录中的图片与蒙版图片目录中的图片数量、名称、大小比例一致

在这里插入图片描述

三、提示词权重

提示词权重是什么呢？

在提示词内容比较多的时候，SD有时候不能识别一些关键词，导致无法生成想要的效果，这时候给该关键词加上权重修饰，就可以让工具重点识别了。（在我们之前给出的反向词例子中，有很多括号括起来的内容，这些就是给关键词加权重的操作。）

EasyNegative, ng_deepnegative_v1_75t, badhandv4,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative,skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head,lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature,watermark, username,blurry,cropped,jpeg artifacts,text,error

当然有加权重就有减权重的操作，以下就是权重修饰使用的说明

①如何使用

内容填写(提示词:倍数)

例如(red dress:1.5)

这里就是把red dress的关键词权重增加了1.5倍

②修饰符号

()默认是1.1倍，套用(())的话是每层增加1.1倍

[]默认是0.9倍，减少权重，也可以套用[[]]，每层减少0.9倍

{}默认每层增加1.05倍

根据实际情况，增加或者减少权重修饰，在实际运用中。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述