硬核：关于Stable Diffusion 模型

最新推荐文章于 2024-09-12 09:39:47 发布

认真写程序的强哥

最新推荐文章于 2024-09-12 09:39:47 发布

阅读量991

点赞数 23

本文链接：https://blog.csdn.net/qq_41314882/article/details/137049274

版权

本文详细介绍了StableDiffusion中的核心模型，包括Checkpoint、VAE、LoRA、Embedding和Hypernetworks，以及它们在生成艺术作品中的作用和安装方法。文章还展望了AIGC技术的未来发展，强调了AI绘画和人工智能在游戏、计算领域的潜力。

摘要由CSDN通过智能技术生成

今天聊一下Stable Diffusion 最关键的几个点。Checkpoint; VAE; LoRA; Embedding和Hypernetwork。以上这几个再大佬的SD启动器，模型管理选项卡都能找到。

所以说他们的属性是模型。

01
Checkpoint 模型

Checkpoint体现在生成界面的左上角。是SD中最核心的模型。

其控制了整张照片的主题风格，在整个SD软件中最占储存空间的就是它，动辄1GB-2GB，这个模型的训练往往需要大量的图片数据与大量的算力才能实现。如果你想生成独特专一艺术风格的图片，选择一个正确的Checkpoint 往往事半功倍。

Checkpoint安装在哪儿呢？在我之前第一篇SD的AI绘画的文章中就有介绍。

安装地址：\安装解压软件目录\models\Stable-diffusion

如果嫌麻烦也可以在启动器的模型管理直接下载。

变分自编码器 (VAE)模型

VAE在第二章基本原理中也有介绍，类似于一个压缩工具，它会将图片降维到潜空间，在图片生成结束后从潜空间解压出来。与此同时它还会根据模型中的概率参数对图片色彩，白平衡等进行调整。

安装地址：\安装解压软件目录\models\VAE

也可以在启动器的模型管理直接下载。一般情况下很少用，有些checkpoint会提示使用，有时候图像生成效果不好也可以尝试使用不同的VAE测试一下。

在生成器的这里可以调整VAE

LORA 模型

LoRA模型是比较小的一些风格模型，一般几百兆，对风格细节的把控非常到位，专注于细节的LoRA

安装地址：\安装解压软件目录\models\Lora

一般Lora体现在描述词中，跟描述概率一同出现。

lora:CyberPunkAI:1代表lora浓度100%，lora:CyberPunkAI:0.5代表lora浓度50%。

嵌入式(Embedding)模型

最后一个Embedding可以说是简化版的lora,一般很小几十K或几百K。在日常使用中，Embedding 技术通常用于控制人物的特征。比如经典的坏手Embedding模型，加入到反向提示词中，就更不容易生成坏手。

安装地址：\安装解压软件目录\Embeddings

Hypernetworks

安装地址：\安装解压软件目录\models\hypernetworks

hypernetworks是一种fine tune的技术，最开始由 novel AI 开发。hypernetworks是一个附加到stable diffusion model上的小型网络，用于修改扩散模型的风格。

AI绘画SD整合包、各种模型插件、GPT人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴可以文末扫码获取噢~

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。