英文原文：https://stable-diffusion-art.com/hypernetwork/
hypernetworks(超网络)模型是用于修改风格的小型神经网络。
在这篇文章中，您将了解有关超网络的所有知识以及如何使用它们来实现您正在寻找的结果。我将介绍从超网络模型的基础知识到如何将其与 AUTOMATIC1111 Stable Diffusion GUI 结合使用的所有内容。我还将向您展示我在工作中使用的一些我最喜欢的超网络。
文章目录
什么是 Stable Diffusion 中的超网络？
超网络是由 Stable Diffusion 的早期采用者 Novel AI 开发的一种微调技术。它是一个附加到稳定扩散模型的小型神经网络，用于修改其风格。
小型超网络插入哪里？当然，它是 Stable Diffusion 模型中最关键的部分：噪声预测器 UNet 的交叉注意力模块。 LoRA 模型类似地修改了稳定扩散模型的这一部分，但方式不同。
超网络通常是一个简单的神经网络：具有丢失和激活功能的完全连接的线性网络。就像您在神经网络入门课程中学习的内容一样。他们通过插入两个网络来转换键向量和查询向量来劫持交叉注意力模块。下面比较原始模型架构和被劫持的模型架构。
原始稳定扩散模型的交叉注意力模块。
超网络注入额外的神经网络来转换键和值。
在训练过程中，稳定扩散模型被锁定，但所连接的超网络可以改变。由于超网络较小，因此训练速度很快，所需的资源也有限。训练可以在普通计算机上完成。
快速训练和小文件大小是超网络的主要吸引力。
你应该知道，它与机器学习中常见的超网络不同。那是一个为另一个网络生成权重的网络。因此，"Stable Diffusion"超网络并不是 2016 年发明的。
与其他模型的区别
我将解释超网络和其他模型类型之间的区别：Checkpoint models、LoRA 和embeddings。
Checkpoint models
检查点模型包含生成图像的所有必要信息。您可以通过其大文件大小来识别它们。它们的范围从 2 到 7 GB。超网络通常低于 200 MB。
超网络无法单独运作。它需要与检查点模型配合来生成图像。
检查点模型比超网络更强大。它可以比超网络更好地存储样式。训练检查点模型时，会对整个模型进行微调。训练超网络时，仅对超网络进行微调。
LoRA模型
LoRA 模型与超网络最相似。它们都很小并且只修改交叉注意力模块。区别在于他们如何修改它。 LoRA 模型通过改变权重来修改交叉注意力。超网络通过插入额外的网络来实现这一点。
用户普遍发现 LoRA 模型能产生更好的结果。它们的文件大小相似，通常低于 200MB，并且比检查点模型小得多。
LoRA是一种数据存储方法。它没有定义训练过程，训练过程可以是 Dreambooth 或附加训练。超网络定义了训练。
Embeddings(嵌入)
嵌入是一种称为文本反转的微调方法的结果。与超网络一样，文本反转不会改变模型。它只是定义新的关键字来实现某些样式。
文本反转和超网络适用于 Stable Diffusion 模型的不同部分。文本反转在文本编码器中创建新的嵌入。超网络将一个小型网络插入噪声预测器的交叉注意模块中。
哪里可以找到Hypernetworks
最好的地方是civitai.com。使用 Hypernetwork 过滤模型类型
如何使用超网络
我将向您展示如何在 AUTOMATIC1111 Stable Diffusion GUI 中使用超网络。您可以在 Windows、Mac 或 Google Colab 上使用此 GUI。
第 1 步：安装超网络模型
要在 AUTOMATIC1111 webui 中安装超网络模型，请将模型文件放入以下文件夹中。
stable-diffusion-webui/models/hypernetworks
第 2 步：使用超网络模型
要使用超网络，请在提示中输入以下短语。
<hypernet:filename:multiplier>
filename 是超网络的文件名，不包括扩展名（.pt、.bin 等）。
multiplier 是应用于超网络模型的权重。默认值为 1。将其设置为 0 将禁用该模型。
你如何确定文件名是正确的？您应该使用 GUI 来插入该短语，而不是编写该短语。单击“Hypernetworks”选项卡。您应该会看到已安装的超网络列表。单击您要使用的那个。
超网短语将插入到提示中。
请注意，超网络短语不会被视为提示的一部分。它只是指示使用哪些超网络。应用超网络后它将被删除。因此，您不能对它们使用任何提示语法，例如 [keyword1:keyword2:0.5]。
第 3 步：使用模型测试和创作艺术作品
为了让自己有更大的机会获得想要的风格，请开始使用它所训练的模型。但不要止步于此。有些超网络需要特定的提示，或者只适用于某些主题，因此请查看模型页面上的提示示例，看看什么最有效。
这里有一个专业提示：如果您发现图像看起来有点太饱和，则可能表明您需要调整multiplier。这是一个简单的修复。Stable Diffusion 有时可以将颜色饱和度解释为达到目标的完美方式，但减少 multiplier 可以帮助使事物恢复平衡。
一旦您确认您的超网络正在发挥其魔力，为什么不在其他模型上尝试使用它呢？你永远不知道会出现什么有趣和意想不到的效果，说实话，玩起来很有趣。所以，继续吧，发挥你的创造力吧。
一些超网络
以下是我偏爱的超级网络。
水元素
水元素是一个独特的超网络，可以将任何东西变成水！在主题之前使用短语“水元素”。确保描述背景。您可以将此超网络与稳定扩散 v1.5 结合使用。更改超网络权重以调整水效果。
提示词：
water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>
提示词：
water elemental a boy running on water <hypernet:waterElemental_10:1>
哥特式 RPG 艺术风格
哥特式角色扮演艺术风格产生时尚的单色插画风格。与 Protogen 模型一起使用。
提示词：
drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>
741
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
