【Stable Diffusion】（基础篇四）—— 模型

麦田里的稻草人w

于 2024-07-24 21:49:49 发布

阅读量710

点赞数 24

分类专栏： AI绘画文章标签： stable diffusion AI作画

本文链接：https://blog.csdn.net/dao_cao_renshuai/article/details/140674091

版权

AI绘画专栏收录该内容

4 篇文章 0 订阅

订阅专栏

模型

本系列博客笔记主要参考B站nenly同学的视频教程，传送门：B站第一套系统的AI绘画课！零基础学会Stable Diffusion，这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili

本文主要讲解如何下载和使用SD中的模型

有时候你可能会遇到这样的情况，在抄别人作业的时候，使用了正确的提示词和参数设置，但是结果却相差甚远，这时候很有可能是模型出问题了。

这里简单描述一下AI绘画的原理，AI通过深度学习大量的图片，学习这些图片中的信息，然后提炼出来进行作画，如果你给AI的参考图都是二次元的，那么AI画出来的作品画风也都是二次元的，这些所有的参考的图片打包之后生成的就是模型，模型主要影响的绘画风格结果，使用不同风格的模型就可以生成不同风格的作品。

文件构成和加载位置

模型在SD中的位置通常是在根目录下的【models\Stable-diffusion】文件下，下载了新的模型直接将其复制到这个文件夹下面就可以进行加载

一些模型的类型为checkpoint，后缀通常为ckpt；还有一些模型的类型为safetensors，它的大小更小，模型的训练非常消耗算力，所以大部分模型都是不断地退出新的版本进行迭代

这两种类型的模型你在下载好之后放入【models\Stable-diffusion】文件夹中即可使用，如果你是在打开SD的情况下导入的文件，需要点击模型右边的刷新按钮加载模型，然后就可以选择自己下载的模型并使用了。

在这里插入图片描述

在模型选择的右边有一个VAE（Variational Auto Encoder，变分自解码器）模型，如果说模型用来控制画风的话，VAE则可以理解为是用来给图片添加色彩滤镜，现在的大模型通常把VAE都内置其中，不需要进行选择。如果模型没有内嵌会在model card页面推荐合适的VAE，或者使用一些通用的VAE效果也会不错，比秋叶SD整合包中自带的一些。

在这里插入图片描述

VAE的格式一般为pt或safetensors，安装地址为根目录下的【models/VAE】。

VAE使用时有一个小技巧：把给特定模型使用的VAE改成和其同名状态，此时需要在模型名字后面、.pt前面，加上.vae才能被识别，在选择VAE时使用auto就可以自动选择了

模型下载渠道

Stable Diffusion官方会发布更新模型，但是官方模型的训练素材来源和尺度都会受到限制，作画精度不高，很多时候我们使用的都是个人训练的模型，这些模型往往针对于特殊的画风或者题材进行训练，达到更好的效果，很多人会把自己的模型分享出来（开源精神万岁），让我们可以直接使用。下面我来介绍一些用于分享和下载模型的网站：

hugging face

Hugging Face ： Hugging Face，翻译过来就是抱脸，这是一个很大的ai资源分享社区，不仅有ai绘画的内容

点击models，在左边筛选中选择Text-to-Image就可以找到主要用于文生图ai绘画的模型，这里面包含了历代sd发布的官方模型

在这里插入图片描述

让我们查找一个模型来看看具体页面中的内容，anythin模型是一个很火的二次元画风模型，让我们在搜索框中输入anything，进入anything v5版本模型的详细内容页面，这个模型详情页面通常称为model card

在这里插入图片描述

进去详情页面之后，如果你的英语不是问题，直接看懂也不是很难，看不懂的可以求助翻译软件

点击上面的【Files and versions】，这里面就存放着模型的文件，想要找大模型的话就在【safety_checker】中查找，想要找VAE模型的话就在【vae】中查找，目前我们使用到的只有这两种模型，其余内容现在不需要下载。

在这里插入图片描述

Civital

Civitai ：civital，俗称C站，C站对新手非常友好，是一个专注于AI绘画模型分享的网站，C站中的模型有很直观具体的使用该模型生成的作品的展示，C站还提供了很便捷的筛选器，我们目前掌握的只有Model types中的 Checkpoint大模型和VAE模型，其余的内容我会在后面详解

在这里插入图片描述

还是上面的anything模型的例子，让我们看看在C站它的model card是怎么样的，它的模型介绍和下载都在右边，非常直观，基本上英语不太好的也能看懂
在这里插入图片描述

下方有一些详细的使用指南和注意事项，很多模型都会写建议适合的风格、关键词和VAE等，在使用之前一定要先读一遍

在这里插入图片描述

C站中每个模型都会提供直观的例图，点击例图的右小角小叹号，就会出现这些例图的参数设置，如果你想要快速上手一个模型，试着抄作业画出一份例图是一个不错的选择

在这里插入图片描述

模型分类

根据不同的画面风格，AI绘画模型大概可以分为三类：二次元、真实系和2.5D，下面给出一些对应的模型，你可以自行下载并观察它们画风之间的差距

模型类型	搜索标签和风格关键词	具体模型
二次元模型	illustration, painting, sketch, drawing,comic, anime, catoon	Anything(万象熔炉，精致度高)、Counterfeit（魔幻感）、Dreamlike Diffusion、AbyssOrange(深渊橘)
真实系模型	photography, photo, realistic, photorealistic, RAW photo	Deliberate、Realistic Vision（朴素，食物、动物图等）、LOFI（人物更加精致）
2.5D 模型	3D, render, chibi, digital art, concept art	NeverEnding Dream(三次元化)、国风3、chill

https://pan.baidu.com/s/10rzgzIjzad7AKmj-w8zO_w?pwd=nely 这是B站nenly同学提供的云盘下载链接，你可以直接下载其中打包好的模型包，你也可以在我上述提到的网站中自己搜索模型，这能让你更加熟悉这些网站的操作，但希望你在正式使用前能够在C站中看一遍模型的详细介绍

【示例】同一套参数和提示词在不同模型下的表现，可以看到即使同样都是二次元模型，不同模型的表现效果也不同，模型并没有优劣之分，只是看你想要的效果是怎么样的

1girl, greyscale, solo, white background, looking at viewer, simple background, makeup, looking back, hair ornament, lipstick, flower, updo, upper body
Negative prompt: 
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2566840399, Size: 512x512, Model hash: 038ba203d8, Model: 二次元：AbyssOrangeMix2_sfw, Clip skip: 2, ENSD: 31337, TI hashes: "EasyNegative: c74b4e810b03, negative_hand-neg: 73b524a2da12, verybadimagenegative_v1.3: d70463f87042", Version: v1.5.2

二次元AbyssOrange(深渊橘)

在这里插入图片描述