AI 绘画Stable Diffusion 研究（十六）SD Hypernetwork详解

最新推荐文章于 2025-02-10 11:43:12 发布
最新推荐文章于 2025-02-10 11:43:12 发布
阅读量3.8k 收藏 4
点赞数 3
分类专栏： AI绘画 文章标签： 人工智能 stable diffusion ai绘画 AI作画 Hypernetwork
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lizhong2008/article/details/132508540
版权

大家好，我是风雨无阻。


本期内容：

  • 什么是 Hypernetwork？
  • Hypernetwork 与其他模型的区别？
  • Hypernetwork 原理
  • Hypernetwork 如何下载安装？
  • Hypernetwork 如何使用？

在上一篇文章中，我们详细介绍了 embedding 的定义、作用以及如何安装使用 ，相信看过的朋友都知道，embedding 是属于一种将提示词打包的模型微调技术。感兴趣的朋友，可以前往查看：AI 绘画Stable Diffusion 研究（十五）SD Embedding详解。


其实今天要讲到的 Hypernetwork 和 embedding 甚至和后面我们即将介绍的 Lora 模型一样，也属于一种模型微调技术。


Hypernetwork 其实并不是我们介绍的一个重点知识，我们只需要了解这个微调技术的原理和使用方法即可！


主要有以下原因：

  • Hypernetwork是一个比Lora更早的模型微调技术，现在使用的人数越来越少。

    我们在c站筛选Hypernetwork，只有33个Hypernetwork文件。

在这里插入图片描述


  • Hypernetwork使用效果并不理想，甚至还不如体积只有几k的embeddings文件，但是Hypernetwork的文件体积却可以与lora相提并论，在几十M甚至上百M。

在这里插入图片描述


  • Hypernetwork可以实现的效果，用其他的替代方式几乎都可以实现，比如用embeddings或者用lora。

1、什么是 Hypernetwork？

Hypernetwork 中文名（超网络），最初由stable diffusion 早期使用者 NovelAI开发，它是一个附加到stable diffusion模型的小型神经网络，用于修改其风格。


2、Hypernetwork 与其他模型的区别

  • Hypernetwork VS Checkpoint（大模型）

Checkpoint模型包含生成图像的所有必要信息，我们可以通过其文件大小来识别，Checkpoint 它们的体积范围从 2 GB 到 7 GB不等，Hypernetwork通常低于 200 MB。

​ Hypernetwork无法单独使用，它需要与checkpoint模型配合来生成图像。


  • Hypernetwork VS LoRA模型

    Hypernetwork与LoRA 模型很相似，它们的文件大小相似，通常低于 200MB，都比checkpoint模型小。

    有一个事实是：LoRA 模型比Hypernetwork模型效果更好。


  • Hypernetwork VS Embeddings

    Embeddings是一种称为Textual Inversion”文本反转”的微调方法，它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样， 不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。

    Embeddings在文本编码器中创建新的嵌入。

    Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。


3、Hypernetwork 的下载安装

​ 这里我们以c站下载Hypernetwork 模型为例进行说明。


​ 第一步，浏览器中打开c站，搜索 Hypernetwork

在这里插入图片描述


第二步，选择喜欢的 Hypernetwork模型，下载即可

我们这里以下载这个 Hypernetwork模型演示，如下：

在这里插入图片描述


下载完成，得到waterElemental_10.pt 文件


第三步，将这个模型文件拷贝到 \sd-webui-aki-v4.2\models\hypernetworks 目录

\sd-webui-aki-v4.2\models\hypernetworks

在这里插入图片描述

重新启动 stable diffusion 使其生效。


4、Hypernetwork 的使用

Hypernetwork的使用方式与Embeddings 类似，区别是 Hypernetwork 用在正向提示词中，而Embeddings 是用在反向提示词中。


我们的按钮使用的 Hypernetwork 模型是：

Water Elemental(水元素)

Water Elemental(水元素)是一个独特的超网络，可以将任何东西变成水!

在主题之前使用短语water elementa"可以将此超网络与Stable Diffusion v1.5结合使用，更改超网络权重以调整水效果。


(1)、设置正向提示词

water elemental woman walking across a busy street

(2)、选择 Water Elemental Hypernetwork 模型
在这里插入图片描述


选择 Water Elemental Hypernetwork 模型后，在正向提示词里面会自动添加：

在这里插入图片描述


(3)、设置参数

  • 采样算法：DPM++2M Karras
  • 迭代步数：15
  • CFG Scale: 7

在这里插入图片描述


（4）、点击按钮， 效果如下：

在这里插入图片描述


好了，今天的内容就分享到这里，后面我们将持续分享有关 Stable Diffusion 的干货，喜欢的朋友请关注我，我们下次再见。


AI 绘画 | Stable Diffusion 进阶 Embeddings（词嵌入）、LoRa（低秩适应模型）、Hypernetwork（超网络）
洛阳泰山的博客
11-11 1203
Stable Diffusion web ui，除了依靠文生图（即靠提示词生成图片），图生图（即靠图片+提示词生成图片）外，这两种方式还不能满足我们所有的绘图需求，于是就有了 Embeddings（词嵌入）、LoRa（低秩适应模型）、Hypernetwork（超网络）。你只需要在提示词词，使用Embeddings（词嵌入）、LoRa（低秩适应模型）、Hypernetwork（超网络）的标签。
【大模型】AutoDL部署AI绘图大模型Stable Diffusion使用详解
congge
09-22 9837
AutoDL部署AI绘图大模型Stable Diffusion使用详解
sd模型分类
jiasudu的博客
05-26 2526
通过 Dreambooth 训练方式得到的大模型， 特点是出图效果好，但由于训练的是一个完整的新模型，所以训练速度普遍较慢，生成模型文件较大，一般几个 G，文件格式为 safetensors 或 ckpt。特点是对于特定风格特征的出图效果好，训练速度快，模型文件小，一般几十到一百多 MB，需要搭配大模型使用。一种使用文本提示来训练模型的方法，可以简单理解为一组打包的提示词，用于生成固定特征的人或事物。特点是对于特定风格特征的出图效果好，模型文件非常小，一般几十 K，但是训练速度较慢，需要搭配大模型使用。
精通Stable Diffusion画图，理解LoRA、Dreambooth、Hypernetworks四大模型差异
最新发布
z19981的博客
02-10 1191
随着生成型AI技术的能力提升，越来越多的同行开始将注意力放在了通过AI模型提升研发效率上。业内比较火的AI模型有很多，比如画图神器Midjourney、用途多样的Stable Diffusion，以及OpenAI此前刚刚迭代的DALL-E 2，除了后者使用人数有限之外，前两个都有很多的开发者尝试。不过，对于研发团队而言，尽管Midjourney功能强大且不需要本地安装，但它对于硬件性能的要求较高，甚至同一个指令每次得到的结果都不尽相同。
stable diffusion实践操作-hypernetworks
weixin_43360707的博客
09-02 2227
因为hypernetworks主要用来训练画风，训练难度较大，很有可能被后出现的lora所替代，不过人家既然能坚持到现在，说明也有它的两把刷子。我觉得它最重要，也最好的功能就是对画面风格的转换。除了画风，它其实也可以训练人物和物品，比如电影角色，但是大家为什么用的少呢，它做到了神似，但是想要高精度还原的话，还是要借助于lora.中文名字叫超网络，功能和embedding，lora类似，都是对生成的图片进行针对性的调整，小白可以理解为低配版本的lora。国外的是：https://civitai.com。
AI 绘画Stable Diffusion 研究（十五）SD Embedding详解
w风雨无阻w的专栏
08-24 8553
那在上一篇中只是简单提到了Embedding， 对于我们实际使用stable diffusion过程中，可能很多朋友对Embedding的概念还不是很清楚。今天我们就来详细介绍一下Embedding， 它到底是干嘛的？在使用stable diffusion进行绘画时，Embedding可以用于将输入的图像转换为向量表示，以便于算法对其进行处理和生成新的图像。在 Stable Diffusion 中，Embedding 技术就可以被理解为一种组件，它可以将输入数据转换成向量表示，方便模型进行处理和生成。
1步高清出图，字节开源Stable Diffusion加速模型 Hyper-SD
python03012的博客
05-17 2876
Hyper-SD 由字节跳动开源，使用了神经网络的模型蒸馏技术从 SDXL Base 1.0 和 Stable-Diffusion v1-5 模型中提取出了高质量的图像特征信息。具体来说，字节团队提出了一种新颖的框架，协同整合了ODE轨迹保持和ODE轨迹重构的优势，既保证了新模型的性能，又提升提升了新模型的效率。首先，它引入了轨迹分段一致性蒸馏，在预先定义的时间步长段内逐步进行一致性蒸馏，从而从更高层次上促进了原始ODE轨迹的保留。
关于AI绘画Stable diffusion的各种模型，看这篇就可以了！
白帽阿叁的博客
05-23 2654
Stable diffusion的模型除了上述的分类之外，从用途上看，还分为官方模型、二次元模型（动漫）、真实系模型和2.5D模型四大类。4.1 官方模型官方模型有 1.X 和 2.X 两个大版本，目前在 1.X 中官方发布的有四个版本，分别是v1-1、v1-2、v1-3、v1-4如无法下载，请看文末扫描获取。
Stable Diffusion安装和使用详解
07-24
Stable Diffusion 是一款基于深度学习的人工智能绘画软件，其主要功能是根据输入的文本描述生成对应的图像。这款软件的强大之处在于它能够生成高度逼真且具有创意的图像，为用户提供了无限的可能性。本文将详细介绍...
AI 绘画Stable Diffusion 研究（七） 一文读懂 Stable Diffusion 工作原理
周红伟讲AI
03-12 583
经过压缩后，图像被称作低维潜在（Latent）“图像”，作为U-net的输入，去潜空间（Latent Space）里一步一步降噪后，完成反向扩散的低维“图片”还得通过VAE的解码器，把图像从潜空间转换回像素空间（Pixel Space）。U-Net以一个叫做cross-attention机制的方式来使用它，cross-attention机制允许模型在不同的特征层次上关注相关的区域，从而提高生成结果的质量，这即是prompt适配图片的地方。随着迭代次数的增加，图像中的噪声逐渐减小，因此降噪幅度也应相应减小。
AI绘画-stable diffusion 应用项目包
07-24
**AI绘画技术——Stable Diffusion详解** AI绘画技术近年来发展迅速，其中Stable Diffusion是一种基于深度学习的创新应用，它将文本描述或图像草图转化为高质量的艺术作品。这项技术的核心在于结合了大语言模型（如...
HyperNetworks
04-03
深度学习项目种子 使用此种子来启动新的深度学习/ ML项目。 内置setup.py 内置要求 MNIST的例子 徽章 比比克斯 目标 该种子的目标是使ML纸质代码结构相同，以便可以轻松地扩展和复制工作。 删除项目中的所有内容 您的项目名称 描述 它能做什么 怎么跑 首先，安装依赖项 # clone project git clone https://github.com/YourGithubName/deep-learning-project-template # install project cd deep-learning-project-template pip install -e . pip install -r requirements.txt 接下来，导航到任何文件并运行它。 # module folder cd project # run mo
揭秘 Stable Diffusion：利用 AI 智能绘图功能，打造出具有创意性的平面设计作品——AI 作图神器 Stable Diffusion 有哪些强大功能？应用案例详解
热门推荐
AI天才研究院
06-12 3万+
在当今数字化时代，人工智能技术已经深入到我们的生活中的各个领域。其中，AI 智能绘图功能已经成为了许多设计师和创意工作者的必备工具。今天，我们将为大家揭秘一款备受关注的 AI 作图神器 Stable Diffusion，它具有哪些强大的功能和特点。Stable Diffusion 是一款基于开发的作图神器，具有许多强大的功能，包括：1.：Stable Diffusion 可以智能识别用户上传的图片，并自动调整图片质量和色彩，让图片更加清晰、饱满。
Stable Diffusion ComfyUI 基础教程（七）如何使用三大微调模型：Embeddings、Lora、超网络
libaiup的博客
07-16 2820
在我们绘图过程中我们用到了 Checkpoint 模型和 VAE模型，但是还有另外三种可以辅助我们出图的模型没有给大家介绍，他们分别是 Embeddings（嵌入）、Lora（低秩适应模型）、Hypernetwork（超网络）这三种模型； 在开始讲解这三个模型之前我们一定要记住不止 Checkpoint（大模型）分 SD1.4、SD1.5、SDXL1.0等基础算法型号，这三个模型同样也分，我们在使用时要选择对应基础算法型号才能正常使用。 今天我们就讲讲这三种模型分别是什么原理、有什么作用和怎么使 用。
Ai画画——Textual Inversion, Hypernetwork, Dreambooth三种模型训练心得
03-20 4276
它将给定内容插入到输出中，缺点是如果你用 Dereambooth，它会用训练图替换所有相似的对象。它根据模型引用给定的图像并选择最匹配的图像。之后在输入给AI的文字中，即可通过改变训练好的几个相貌tag的比例权重，融合出现实里不存在，同时在系列图片里长相可以保持一致的角色啦！它会改变图像的整个输出，而无需在提示中调用它来浪费您宝贵的令牌，它可以在您的设置选项卡中进行设置，该选项卡将自动应用于您的所有图像。高学习率和过多的训练步骤将导致过度拟合（换句话说，无论提示如何，模型只能从训练数据生成图像）。
一步成像：Hyper-SD在图像合成中的创新与应用
孙佰贵的专栏
05-09 2689
在生成人工智能领域，扩散模型（Diffusion Models, DMs）因其出色的图像生成质量而备受关注，但其多步骤推理过程的高计算成本一直是其广泛应用的瓶颈。本文介绍的Hyper-SD框架是来自字节的一篇工作，通过创新的轨迹分割一致性蒸馏（Trajectory Segmented Consistency Distillation, TSCD）技术，显著提升了图像合成的效率，同时保持了生成图像的高质量。
[Stable Diffusion]：WEBUI（SD）安装、常用模型（checkpoint、embedding、LORA）、提示词具、常用插件
细节控-AI先行者的博客
12-09 2499
Stable Diffusion是一款令人印象深刻的AI模型，它让我们能够创造出惊人的艺术作品。通过安装合适的Checkpoint文件、使用Embeddings、LORA和Hypernetwork，以及使用插件，您可以发挥Stable Diffusion的最大潜力，创造出独一无二的艺术作品。
【Stable Diffusion】基本概念之hypernetwork
weixin_47970003的博客
05-01 5408
我们在进行绘画创作的时候，想要尝试不同的画风，并快速得到这种画风的图像，hypernetwork就可以满足我们的这种需求，它轻量、快捷，可以很方便地对画风进行转换
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

w风雨无阻w

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值