SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗？

最新推荐文章于 2024-05-29 11:44:22 发布

田野猫咪

最新推荐文章于 2024-05-29 11:44:22 发布

阅读量954

点赞数 10

文章标签： stable diffusion

本文链接：https://blog.csdn.net/python03012/article/details/138861769

版权

1.Stable Diffusion XL模型是什么？

SDXL是stabilityai公司推出的最新的图像大模型，可以使用stable diffusion生成Ai图像，SDXL模型与之前的Stable Diffusion v1-v2.1模型相比，使用难度更低，训练参数更大，获得的效果更好。

2.Stable Diffusion XL模型更新了什么？

我将SDXL模型的更新归为两点：更大，更好用。

2.1.【更大】直接输出更大分辨率的图片

SDXL一般使用1024x1024分辨率的图片进行训练，所以直接生成的图片分辨率建议最小也使用1024x1024像素，能生成的图片更加清晰了。之前的模型因为训练所使用的素材以512x512像素，所以在直接输出高分辨率的图片的时候会出现多个主体人物的错乱，是因为ai错以为是在同时输出多张图片。
在这里插入图片描述

而现在可以直接生成1000像素以上的图片，也不会出现错乱的问题。
在这里插入图片描述

图片分辨率的上升带来的图片细节质量的上升，相信之后以sdxl模型能够制作出效果更加惊人的ai图像。

2.2.【更好用】直接输出带文字的图片

首先它最大的更新就是可以直接生成带有文字的图片了，在这之前的任意Ai绘画大模型中，这是不可能实现的，生成的文字部分会出现像字但又不是字的符号。

在这里插入图片描述

现在你可以在提示词中使用“某物品上面写着某某文字”的句式，让SDXL生成出来的图片包含你想要的文字。我尝试了一下，生成的效果越来越接近及格线。

在这里插入图片描述

SDXL能够率先达到文字内容呈现的能力是大幅领先其他ai绘画模型的原因，这个能力的影响我相信是深远的，突破了文字生成的难题，会激活ai生成在更多领域的创新。

2.3.【更好用】更精准的人体解剖结构

SDXL模型能生成更加精准的人体解剖结构，在一定程度上解决了生成的人物有多余的肢体和面部变形的问题。在之前生成的ai人物很容易出现手部错乱，面部扭曲，多胳膊少腿的情况。

在这里插入图片描述

并且想要解决“画手”的难题，需要添加大量的负面提示词，嵌入式模型甚至还需要调用插件，才能保证出图的手不出现严重扭曲。但是现在根据我的测试，sdxl已经初步能够识别人体结构特征了。或许以后我们再也不能通过“手”来辨别一张图是否是ai生成的了。

在这里插入图片描述

2.4.【更好用】同一模型能生成更多的艺术风格

在这里插入图片描述

SDXL模型提供更多的艺术风格。SDXL模型是接近现实世界的照片风格，但是你可以通过提示词的描写轻松的对风格进行修改。根据官方的描述中，至少有十余种风格可以自由切换，
其中包含：无风格、增强、动漫、摄影、数字艺术、漫画书、幻想艺术、模拟电影、霓虹朋克、等距、低聚、折纸、线条艺术、工艺粘土、电影、3D 模型和像素艺术。
以前想要对风格进行切换必须通过下载微调大模型或者lora，之后或许就和midjourney一样操作便捷根本不需要再来回切换模型了。

2.5.【更好用】写提示词更容易了

官方的SDXL模型开始支持使用自然语言写提示词。自然语言可以简单理解为日常说话用的句子，而之前由单词组成的提示词称为tag。
在这里插入图片描述

但是具体之后的sdxl大模型是不是都使用自然语言描述，还需要看训练模型的作者使用是哪种方式。
之前想要输出一张能够看的过去的图片，需要添加许多质量相关的提示词，比如高分辨率，最高质量，4k壁纸等等。
SDXL支持非常少的提示词进行描述，不需要添加过多的质量提示词。
比如简单输入这串提示词【Astronauts standing on the moon, stars, beautiful(一个宇航员站在月球上，星星，漂亮)】，就能出现还不错的效果，如果使用SD1.5和2.0效果却不尽人意。

在这里插入图片描述

这也将逐渐降低sd写提示词的难度，或许之后新接触sd的同学再也不用为了写tag而头疼不已。虽然sdxl大模型有这么多优点，但是他现在还不能在大家普遍使用的webui上发挥他全部的能力，
一是因为配套的插件还不能完全适配，其中就包含最常用的controlnet。
二是因为SDXL相关的微调模型还不是那么多，具体到相关行业的模型更是需要时间的沉淀。
很多博主建议等到SDXL模型的生态健全了再进行使用，我却认为优先熟练掌握SDXL模型的知识，具备先发优势，等到生态健全了，便可无缝切换到新的工作流程中。

3.Stable Diffusion XL模型使用要求

3.1.硬件要求：

显卡最低要求8G显存，推荐使用12G显存以上的N卡。可以使用A卡，但是运行速度会很慢。
内存最低要求32G，内存越多越好。
对CPU没有具体的要求。

3.2.软件要求：

webui需要更新到1.5及以后的版本。

4.Stable Diffusion XL模型下载

SDXL大模型分为两个部分，base和refiner，还有一个配套的vae可以选择性的下载。

在这里插入图片描述

官方发布的模型下载地址： 、

sdxl-base页面：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
sdxl_refienr页面：stabilityai/stable-diffusion-xl-refiner-1.0 · Hugging Face
sdxl_vae页面：stabilityai/sdxl-vae · Hugging Face

国内下载模型的地址：

sdxl-base页面：Stable Diffusion SDXL 正式版｜LiblibAI
sdxl_refienr页面：Stable Diffusion SDXL refiner｜LiblibAI
国内缺失了vae的下载链接，如果有需要的网盘自取（二选一即可）：
夸克网盘：链接：https://pan.quark.cn/s/78ef35832fb3 提取码：PpVL
百度网盘：链接：https://pan.baidu.com/s/1bKAYNU9yI1vn4pIIQlEjAQ?pwd=mfhi 提取码：mfhi

还有一个非常推荐的插件需要下载：refienr插件

由于使用SDXL模型需要在base模型和refiner模型之间来回切换，这个插件可以省去你来回切换base和refiner模型之间的时间。启用之后会自动进行精炼步骤，不用到图生图中切换refienr模型了。
下载链接：
GitHub - wcde/sd-webui-refiner: Webui Extension for integration refiner in generation process
将以上网址复制到webui/扩展/从网址安装/扩展的git仓库网址中，点击安装即可。

在这里插入图片描述

5.Stable Diffusion XL模型使用

根据官方的文档中的建议，使用base模型进行文生图的输出，再将输出的图使用refiner模型在图生图中进行精炼处理，以获得更好的图片效果。
现在我们开始操作，在左上角选择base模型，vae选择“无”或者“SDXL_VAE”。

在这里插入图片描述

在写提示词的时候和其他大模型只有一点不同就是可以根据模型作者的建议，使用更简短的自然语言进行描写，并且用风格提示词对画面风格进行描述即可。
分辨率最小使用1024乘1024分辨率，采样部署可以根据你的电脑配置适当提高一些，一般使用20到50步，采样方法建议使用DPM++2M karrass或者其他DPM++采样器。

在这里插入图片描述

refiner插件点击启用，精炼步骤根据你电脑的配置调整到10到20。然后直接点击生成即可。

在这里插入图片描述

当然，如果觉得使用base模型输出的图片结果已经满意，可以不使用refienr模型进行精炼。

在这里插入图片描述

6.在线使用SDXL模型的方法

如果想要在线使用sdxl有三个途径，
第一是在国内的liblibai上体验,和本地部署的sd差别不大，每天至少有100次免费生成的机会。
哩布哩布Ai在线体验：https://www.liblibai.com/
第二个是到Stability AI公司推出的clipdrop上进行生成，每天免费400张图像，虽然需要排队但是出图很快大概20秒就能够输出4张。
clipdrop体验sdxl：https://clipdrop.co/stable-diffusion
第三是dreamstudio，有一定的免费额度，用完之后需要按生成数量付费购买。
dreamstudio网址：https://beta.dreamstudio.ai/generate