网络分类
当使用SD webui绘图时,为了提升绘图质量,可以多种网络混合使用,可选的网络包括了模型、VAE、超网络、Lora和嵌入。
其中,模型就是我们所熟知的最核心的生成图片的稳定扩散模型,不需要额外的文件就可以直接运行,大小也最大,通常在2GB以上。
而其他网络本质上是依附于模型的插件,不能独立运行。在这其中,VAE是模型中用于从潜空间生成图片的网络模块,大小通常为几百MB,注意模型本身自带VAE,但是你可以用选择的其他VAE替换掉这部分;超网络是添加到交叉注意力层的附加网络模块,会改变模型结构,大小通常为几百MB;Lora(Low-Rank Adaption,低秩自适应)可以修改交叉注意力层的参数权重,不改变模型结构,大小同样为几百MB;嵌入则可以看做是一种特殊的提示词,它可以影响模型对文本的编码层,通常为 10-100 KB。
从效果和流行程度上来看,VAE>Lora>嵌入>>超网络,所以接下来我们重点介绍模型、VAE、Lora和嵌入这几部分。