1.基本概念
hypernetwork,中文名为超网络,是一种神经网络架构,它允许动态生成神经网络的参数(权重)。简而言之,hypernetwork可以生成其他神经网络。
在Stable Diffusion中,hypernetwork被用于动态生成分类器的参数,为Stable Diffusion模型添加了随机性,减少了参数量,并能够引入side information来辅助特定任务,这使得该模型具有更强的通用性和概括能力。
2.作用
功能和embedding、lora类似,都是对Stable Diffusion生成的图片进行针对性地调整,hypernetwork的应用领域较窄,主要是训练画风,训练难度很大,未来很有可能被后出现的lora所替代,新手可以将hypernetwork理解为低配版的lora。
hypernetwork最重要也是实现最好的功能是对画面风格的转换,也就是切换不同的画风。
例如,NFT的cryptopunks风:
极乐迪斯科风:
但hypernetwork也可以训练人物和物品,但只能做到神似,如果要做到更高精度的还原,只能借助lora乃至于Dreambooth进行训练。
3.hypernetwork文件下载
打开https://civitai.com/
右方的筛选按钮——Hypernetwork
4.hypernetwork文件存放位置
以存放在D盘为例
D:\stable-diffusion-webui\models\hypernetworks
以上述的cryptopunks风和极乐迪斯科风的hypernetwork为例,放置后显示为:
5.在WebUI中打开hypernetwork
在WebUI页面中点击“Show extra networks”,再在Hypernetworks标签中选择需要的hypernetwork,点击
这里以cryptopunks风为例,点击之后在Prompt框里显示
< hypernet:cryptopunks_v11: 1>
hypernet表示这是一个hypernetwork文件,cryptopunks_v11为文件名,1表示权重值,代表这个hyoernetwork文件从多大程度影响最后的出图结果
这里可以仿照示例图片给出的参考模型和参考参数,在Prompt输入一些描述词,再调节相应的参数,这样就可以输出cryptopunks风的图片了
6.使用hypernetwork的注意事项
(1)hypernetwork没有确定的生成图像质量较好的权重值范围,需要去试
(2)使用hypernetwork配套的大模型(刚开始练习就参考作者给出的示例图片给出的模型)
(3)最好使用和hypernetwork作者相同的参数或推荐的参数(刚开始练习就参考作者给出的示例图片给出的参数)
点击示例图片中的“?”即可显示示例图片的模型和参数:
或者点击大图,在右侧也可以显示
或者将大图直接拖动到WebUI的PNG Info标签栏中,就可以显示图片更多的参数信息,还可以选择点击下方的“Send to txt2img”、“Send to img2img”、“Send to inpaint”、“Send to extras”按钮,将图片的参数信息一键复制到相应的图像操作中,在此基础上做进一步的图像处理。
值得注意的是,在这里作者输入的Prompt中没有显示所使用的hypernetwork文件以及权重信息,如果直接将作者的Prompt词直接复制,想得到cryptopunks风的图像,需要自己手动点击文件,并调整权重,直接复制是生成不了cryptopunks风的图像的。
直接复制显示如下:
所以,复制作者的一些参考信息的时候,也要自己观察一下,并做出相应的调整
(4)有触发词一定要使用触发词
(5)新手尽量不要混用hypernetwork