Stable diffusion模型如何区分?通俗易懂,入门必看!

在Stable Diffusion的基础学习中,很多小伙伴们可能看到繁杂的大模型就蒙圈了,那么多的模型后缀,究竟代表什么呢?如何区分呢?今天就带大家来学习一下~

不同后缀模型介绍

在Stable diffusion中,有两种比较常见的模型后缀,分别是 .ckpt 和 .safetensors 。

1

.ckpt

.ckpt 的全称是 checkpoint,中文翻译就是检查点,这是 TensorFlow中用于保存模型参数的格式,通常与 .meta 文件一起使用,以便恢复训练过程。

简单理解的话,.ckpt模型就好比我们打游戏时,每通过一关时对这一关的一个“存档”,因为你在训练模型时也是如此,没办法保证能一次就训练成功,中途是有可能因为各种因素失败的,所以可能在训练到20%时就存一次档,训练到40%时又存一次档,这也是为什么它叫 checkpoint 的一个原因。

在提到.ckpt 模型时,顺便补充下.pt 模型,前面提到,.ckpt 是TensorFlow 用于保存模型参数的格式,而 .pt 则是 PyTorch保存模型参数的格式。TensorFlow 和 PyTorch都是比较出名的深度学习框架,只不过一个是Google发布的,另外一个是Facebook发布的。

PyTorch 保存模型的格式除了.pt 之外,还有 .pth 和.pkl。.pt 和 .pth 之间并没有本质的差别,而.pkl 只是多了一步用Python的 pickle 模块进行序列化。

1

.safetensors

讲完了 .ckpt 模型,那么就该说说 .safetensors 模型了。

之所以有 .safetensors 模型,是因为 .ckpt 为了让我们能够从之前训练的状态恢复训练,好比从50%这个点位重新开始训练,从而保存了比较多的训练信息,比如模型的权重、优化器的状态还有一些Python代码。

这种做法有两个问题,一是可能包含恶意代码,因此不建议从未知或不信任的来源下载并加载.ckpt 模型文件;二是模型的体积较大,一般真人版的单个模型的大小在7GB左右,动漫版的在2-5GB之间。

而 .safetensors 模型则是 huggingface 推出的新的模型存储格式,专门为Stable Diffusion模型设计。这种格式的文件只保存模型的权重,而不包含优化器状态或其他信息,这也就意味着它通常用于模型的最终版本,当我们只关心模型的性能,而不需要了解训练过程中的详细信息时,这种格式便是一个很好的选择。

由于 .safetensors 只保存模型的权重,没有代码,所以会更安全;另外由于保存的信息更少,所以它的体积也比 .ckpt 小,加载也更快,所以目前是比较推荐使用 .safetensors 的模型文件。

总的来说,如果你想在某个SD模型上进行微调,那还是得用 .ckpt 模型;但如果你只关心出图结果,那么使用 .safetensors 模型会更好!

模型下载

模型下载模型下载的渠道很多,一种是网站下载,一个是本地部署的启动器内下载。网站下载模型网站很多,这里主要介绍 2 个:

1、国内 - 哩布哩布:https://www.liblib.ai

每个模型详细页面也有模型的参数、使用建议和效果图的具体信息,包括正反提示词,使用的什么模型,以及参数细节。

2、国外 - C站:https://civitai.com

备注:需要魔法访问

对于模型的基础知识就介绍到这啦~

这是一位SD资深大神整理的,100款Stable Diffusion超实用插件,涵盖目前几乎所有的,主流插件需求。

全文超过4000字。

我把它们整理成更适合大家下载安装的【压缩包】,无需梯子,并根据具体的内容,拆解成一二级目录,以方便大家查阅使用。

单单排版就差不多花费1个小时。

希望能让大家在使用Stable Diffusion工具时,可以更好、更快的获得自己想要的答案,以上。

如果感觉有用,帮忙点个支持,谢谢了。

想要原版100款插件整合包的小伙伴,可以来点击下方插件直接免费获取

img

100款Stable Diffusion插件:

面部&手部修复插件:After Detailer

在我们出图的时候,最头疼的就是出的图哪有满意,就是手部经常崩坏。只要放到 ControlNet 里面再修复。

现在我们只需要在出图的时候启动 Adetailer 就可以很大程度上修复脸部和手部的崩坏问题

img

AI换脸插件:sd-webui-roop

换脸插件,只需要提供一张照片,就可以将一张脸替换到另一个人物上,这在娱乐和创作中非常受欢迎。

img

模型预设管理器:Model Preset Manager

这个插件可以轻松的创建、组织和共享模型预设。有了这个功能,就不再需要记住每个模型的最佳 cfg_scale、实现卡通或现实风格的特定触发词,或者为特定图像类型产生令人印象深刻的结果的设置!

img

现代主题:Lobe Theme

已经被赞爆的现代化 Web UI 主题。相比传统的 Web UI 体验性大大加强。

img

提示词自动补齐插件:Tag Complete

使用这个插件可以直接输入中文,调取对应的英文提示词。并且能够根据未写完的英文提示词提供补全选项,在键盘上按↓箭头选择,按 enter 键选中

img

提示词翻译插件:sd-webui-bilingual-localization

这个插件提供双语翻译功能,使得界面可以支持两种语言,对于双语用户来说是一个很有用的功能。

img

提示词库:sd-webui-oldsix-prompt

提供提示词功能,可能帮助用户更好地指导图像生成的方向。

上千个提示词,无需英文基础快速输入提示词,该词库还在不断更新。

以后再也不担心英文写出不卡住思路了!

img

由于篇幅原因,有需要完整版Stable Diffusion插件库的小伙伴,点击下方插件即可免费领取
在这里插入图片描述

### 关于DDPM模型的资料、实现与教程 #### 1. **理论基础** 扩散概率模型Diffusion Probabilistic Models, DPMs),特别是去噪扩散概率模型(Denoising Diffusion Probabilistic Models, DDPMs),是一种基于连续时间框架的概率生成模型。其核心思想是从噪声中逐步恢复清晰的数据样本,通过一系列前向过程引入噪声,并利用反向过程去除这些噪声[^4]。 为了深入理解DDPM的工作原理及其背后的数学机制,可以参考以下资源: - 文章《The Annotated Diffusion Model》提供了一个详细的注解版本,帮助初学者快速掌握扩散模型的核心概念和公式推导[^1]。 - 另外,《How does Stable Diffusion work?》是一篇通俗易懂的文章,适合希望了解扩散模型实际应用场景的人群。 #### 2. **代码实现** 对于想要动手实践的人来说,以下是几个值得推荐的开源项目和教程: - PyTorch-DDPM 是一个专注于PyTorch框架下的扩散模型教学工具包。它不仅包含了完整的训练脚本,还附带了 `ddpm_example.yml` 配置文件作为入门指南[^2]。该配置文件涵盖了模型定义、数据集加载以及训练超参数调整等多个方面,非常适合新手上手。 - 如果更倾向于阅读简洁明了的Python代码,则可以从 GitHub 上搜索关键词 “pytorch beginner ddpm”,找到许多由社区贡献的小型实验性项目。这类项目的优点在于结构简单且易于扩展。 #### 3. **进阶学习材料** 当具备一定基础知识之后,可以通过下面几份文档进一步提升自己的技能水平: - 大白话AI系列文章——图像生成模型章节专门讨论了包括但不限于VAE、GAN在内的多种主流生成对抗网络家族成员之间的异同点,同时也介绍了如何过渡至最新的AIGC领域趋势[^3]。 - 对学术论文感兴趣的读者可以直接查阅 Jonathan Ho 等人在 NeurIPS 2020 发表的经典之作《Denoising Diffusion Probabilistic Models》,这是现代版DDPM算法诞生的重要里程碑之一。 ```python import torch from torchvision import datasets, transforms from pytorch_lightning import Trainer, LightningModule class SimpleDDPM(LightningModule): def __init__(self, config_path="ddpm_example.yml"): super().__init__() self.config = load_config(config_path) def forward(self, x_t, timesteps=None): pass if __name__ == "__main__": transform = transforms.Compose([ transforms.ToTensor(), lambda x: (x * 2) - 1, ]) dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) dataloader = torch.utils.data.DataLoader(dataset, batch_size=64, shuffle=True) ``` 上述代码片段展示了一个简化版的DDPM类初始化逻辑及数据预处理流程示例。 --- ####
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值