如何用Stable Diffusion XL模型，绘制精致的二次元插图，学完就能用！

已于 2024-12-29 11:21:47 修改
阅读量1.5k 收藏 29
点赞数 24
分类专栏： StableDiffusion教程 AI绘画 文章标签： stable diffusion 人工智能 AI作画 AI绘画 模型
于 2024-08-27 11:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74942241/article/details/141557851
版权

今天给大家推荐一款Stable Diffusion XL二次元模型，这款模型在C站的下载排行很高，而且质量绘制出的二次元人物和场景都非常的棒！那么首先介绍一些什么是Stable Diffusion XL模型，已经Stable Diffusion XL和SD1.5模型有什么优劣？

什么是Stable Diffusion XL版本？

Stable Diffusion XL (SDXL) 是一种图像生成模型，它由两个主要部分组成：base基础模型和refiner优化模型。SDXL采用了级联扩散模型结构，即在base模型生成初始图像后，再通过refiner模型进行细节优化，从而提升图像质量和细节表现力！

SDXL的优劣

优点：

高质量图像生成：由于采用了base和refiner模型的级联结构，SDXL能够生成更高质量和更复杂的图像

细节增强：refiner模型可以进一步优化初始生成的图像，使得图像的细节更加丰富和清晰

缺点：

计算资源需求高：SDXL的模型较大，需要更多的计算资源和存储空间，不适合资源有限的设备

复杂性增加：由于增加了refiner模型，使用和训练SDXL模型的复杂性也有所增加

SDXL的参数设置

常用分辨率

1:1 -1024x1024

2:3 - 832x1248

3:4 - 880x1176

16:9- 1360x768

1.618:1 - 1296x800

2.35:1-1568x668

提示词引导系数CFG的范围得到提升可以设置到2-30之间；其中 3-9为最佳！

好了废话不多说我们直接看推荐的二次元模型效果

正向提示词

depth of field,masterpiece,best quality,1girl,solo,looking at viewer,Blue Eyes,Red Hair,upper body,breasts,Pleated Skirt,off-shoulder shirt,a lot of white flowers,leaf,blurry foreground,choker,sunlight,pink flowers

负向提示词

negativeXL_D,bad anatomy,bad hands,missing fingers,extra digit,fewer digits,blue

迭代步数：25

采样方法：DPM++ 2M Karras

宽高： 880x1176

提示词引导系数CFG：10

然后我们看效果

图片

图片

再来一组

1 Girl lying in flowers,blue dress,white flowers,earrings,looking at viewer,red eyes,red ribbon,necklace,long sleeves,blonde,short hair,blue sky

图片

来个横版的

(Dutch angle: 1.2), masterpiece, best quality, 1 girl, solo, sea, upper body, waves, seaside, beach, yellow hair, white skirt, white baseball cap, flowing hair, movie angle

图片

再来一组

depth of field,fisheye lens,masterpiece,best quality,1girl,solo,outdoor,looking at the sky,reflection,short hair,macro hair,black eyes,long skirt,looking at the audience,upper body,short sleeves,red scarf,hairpin

图片

图片

图片

最后一组

depth of field, masterpiece, best quality, 1girl, solo, stage, looking at the sky, short red hair, black eyes, long skirt, looking at the audience, upper body, yellow scarf

图片

图片

图片

图片

好啦今天分享到这啦大家明天见喽

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Stable Diffusion系列（三）：网络分类与选择
羊城迷鹿的博客
12-23 3764
我一般把对模型的描述放在notes里面，因为如果放在描述里会显示在选择界面里，看着非常乱，点击Replace preview可以将模型封面图替换为当前生成的图片。炫耀一下我的老婆们：sd-webui-prompt-all-in-one插件：用于选择模型、超网络、Lora和嵌入。
数据合成 —— Stable diffusion xl
Silver_ljh的博客
08-01 643
SDXL Base模型由U-Net、VAE以及CLIP Text Encoder（两个）三个模块组成，在FP16精度下Base模型大小6.94G（FP32：13.88G），其中U-Net占5.14G、VAE模型占167M以及两个CLIP Text Encoder一大一小（OpenCLIP ViT-bigG和OpenAI CLIP ViT-L）分别是1.39G和246M。SDXL Base的Encoder和Decoder结构都采用4个stage，而SDXL Base设计的是3个stage。
Stable Diffusion【二次元模型】：质量高细节丰富的动漫风格大模型anima_pencil-XL
热门推荐
z19981的博客
05-28 1万+
今天给大家介绍的是一个动漫风格的大模型anima_pencil-XL，这个模型出自一位日本的创作者。最早的版本是V1.0.0是今年1月份才发布的，短短的2个月已经更新了5个版本，最新的版本是V2.6.0，可见作者更新版本的频率有多高。提到anima_pencil-XL，想必大家也听说过blue_pencil-XL这个动漫大模型，这个是目前下载量最大的日漫大模型，2个大模型都出自同一个人。
Stable Diffusion XL（SDXL）核心基础知识
最新发布
m0_59162248的博客
03-11 839
SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时对模型的参数采用了EMA（指数移动平均），从而改善生成图片的局部和高频细节。基于以上原因，作为对模型进行了多尺度图像微调。随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
Stable Diffusion-XL
whaosoft143ai的博客
04-19 1059
不过有时候less并不代表more，有网友认为SD-XL为了摆脱「糟糕的品味」，设定了太多的规则，定制化空间越来越小，不符合大多数人的喜好。一个年轻的女性举着一个牌子，上面写着「Stable Diffusion」，头发高亮，坐在餐厅外面，棕色的眼睛，穿着裙子，侧灯。一个年轻人，头发染得很亮，棕色的眼睛，围着黄色的围巾，穿着白衬衫和蓝色牛仔裤，站在一个火山为背景的海滩上。简约的家庭健身房，橡胶地板，壁挂式电视，举重凳，药球，哑铃，瑜伽垫，高科技设备，高细节，组织和效率。whaosoft aiot http:/
Stable diffusion的SDXL模型，针不错！（含实操）
2401_84760719的博客
06-11 1万+
与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式：以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refiner的作用是什么呢？简单来说就是能够自动对图像进行优化，提高图像质量和清晰度，减少人工干预的需要。简单来说，SDXL这种设计就是先用基础模型（Base）生成一张看起来差不多的图片，然后再使用一个图像精修模型（Refiner）进行打磨，从而让图片生成的质量更高。
stable diffusion--二次元福利
wutao22的博客
11-15 6844
“继上次用stable diffusion生成谪仙男子外貌翻车后，痛定思痛，发现用stable diffusion webui这个神器，效果出乎意料的好。”01—安装教程1、pytorch安装具体安装可查看我之前的图文libtorch导入模型 (qq.com)2、clone开源项目git clone https://github.com/AUTOMATIC1111/stable-diffusio...
Stable Diffusion教程：提示词（模型、插件、安装包可分享）
mate1357的博客
05-05 2054
文章提到的模型、插件、安装包都可分享，需要的小伙伴文末领取！你可能没写过提示词，但是一定听说过“提示词”这几个字，也大概能知道它的重要性。没听说过也没关系，下面我就带你认识认识。提示词就是我们给AI模型下发的指令。提示词写对了，AI才能输出相应的结果，提示词写的越好，AI输出的内容质量越高、越贴近你的需求。这有点像程序代码，代码逻辑写对了，程序才能正常运行，代码写的越好，程序运行时发生的问题越少、才能解决用户的问题。
2024年50个热门LoRA模型推荐-Stable Diffusion
weixin_42210212的博客
07-23 4206
使用 Stable Diffusion 创作绘画作品，我们可以借助checkpoint、Lora 和 embeddings 等模型，提升AI的绘画质量和创造力。本文将根据评分、下载量和收藏量等多个维度，从画风、概念、服饰等各个方面，盘点 civitai 上受欢迎的LoRA模型，并简要介绍它们的特点和用途。
Stable Diffusion教程：提示词
程序员小麦的博客
05-27 1371
你可能没写过提示词，但是一定听说过“提示词”这几个字，也大概能知道它的重要性。没听说过也没关系，下面我就带你认识认识。提示词就是我们给AI模型下发的指令。提示词写对了，AI才能输出相应的结果，提示词写的越好，AI输出的内容质量越高、越贴近你的需求。这有点像程序代码，代码逻辑写对了，程序才能正常运行，代码写的越好，程序运行时发生的问题越少、才能解决用户的问题。比如图片的内容需要是：一个姑娘站在海滩上，最简单的提示词就是：a girl standing on the beach，这是一个语法完整的句子；
Stable Diffusion XL搭建
benben044的专栏
10-12 7144
介绍了SDXL的安装过程，涉及webui工程下载、base基础模型、refiner模型、vae模型的安装。
新一代图像合成模型：Stable Diffusion XL（SDXL）上线！
大雾的小屋的博客
08-03 1665
新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diffusion XL 1.0（SDXL）。它可以根据文本描述生成新颖的图像，并生成比之前版本的Stable Diffusion更多细节和更高分辨率的图像。就像稳定扩散1.4版一样，在去年8月份发布开源版本后引起轰动一样，任何具备适当硬件和技术知识的人都可以免费下载SDXL文件并在自己的机器上本地运行该模型。
Stable Diffusion XL总结
weixin_44733295的博客
01-08 3239
在Stable Diffusion XL推理阶段，输入一个prompt，通过VAE和U-Net（Base）模型生成Latent特征，接着给这个Latent特征加一定的噪音，在此基础上，再使用Refiner模型进行去噪，以提升图像的整体质量与局部细节。与此同时，VAE的缩放系数也产生了变化。其主要思想是在加载数据时，将左上角的裁剪坐标通过傅里叶编码并嵌入U-Net（Base）模型中，并与原始图像尺寸一起作为额外的条件嵌入U-Net模型，从而在训练过程中让模型学习到对“图像裁剪”的认识。
Stable Diffusion升级版SDXL，一键运行包和18G模型分享！
托尼不是塔克
07-17 5684
今天主要分享两个东西，一个是ComfyUI软件包，一个是SDXL的两个模型。有这两个东西就可以快速出图了先来简单介绍一下SDXL的特点。Stable Diffusion XL 或 SDXL 是最新的图像生成模型，与以前的 SD 模型（包括 SD 2.1）相比，它专为更逼真的输出而定制，具有更详细的图像和构图。借助 Stable Diffusion XL，您现在可以通过改进的脸部生成来制作更逼真的图像，在图像中生成清晰的文字，并使用更短的提示创建更美观的艺术作品。
Stable Diffusion XL：更快，更强
略懂……略懂……
04-04 3569
总的来说，新模型并没有给我留下深刻印象。MidJourney、Leonardo AI 和 Microsoft Image Generator 仍然有更好看的生成效果。尽管 Stable Diffusion XL 与之前的 AI 模型相比似乎没有显着进步，但它仍然向前迈进了一步，并且肯定还有进一步改进的空间。我期待Stability AI官方能够公布更多细节，而且我坚信最终正式发布的产品会比预览模型更好。
Stable Diffusion最新XL版发布，最简单的一键安装包也升级了
WANGJUNAIJIAO的博客
08-09 1171
7月初，Stable Diffusion发布了XL版及两个模型，当时仅有个别图形界面工具支持，如ComfyUI，操作不便，且很多常用插件无法使用。 最常用的WebUI并未第一时间支持。 前几天，WebUI在开发者模式支持XL的模型，很多绘画爱好者一拥而入，体验了新版大模型。 7月25日，WebUI正式版更新，正式支持XL，并更新了很多其他小细节。 恰好很多新朋友开始入门AI绘图，我借这个大版本升级的机会，从头开始介绍Stable Diffusion的安装、配置和使用。
Stable Diffusion XL简介
icylling的专栏
10-29 1590
SDXL是一个文生图模型。
Stable Diffusion XL：新功能揭秘！
2301_79331230的博客
09-24 210
代码调试和性能优化：Stable Diffusion XL 提供了强大的代码调试和性能优化工具，帮助开发人员快速发现和修复代码中的错误和性能问题。此外，Stable Diffusion XL 还提供了性能分析工具，帮助开发人员找出代码中的瓶颈，并进行优化，以提高程序的性能。通过使用这些内置库，开发人员可以节省大量的时间和精力，并加速开发过程。智能代码建议：Stable Diffusion XL 推出了智能代码建议功能，它基于机器学习和自然语言处理技术，能够根据上下文和用户的编码习惯，提供准确的代码建议。
五秒Al绘画出图，全球最快的Stable Diffusion教程又来了！
m0_71745903的博客
06-28 495
今年刷爆全网的Stable Diffution最近出了无需安装的版本，还支持中文使用！但是很多小伙伴说不会用所以给大家找来了中文教程非常好上手哦！AI绘画Stable Diffusion视频教程帮助你更好的上手SD智能绘画【内容展示】除了教程，本期还给大家准备好了AI绘画Stable Diffusion豪华版资料包感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
stable diffusion基础模型xl怎么用
10-11
Stable Diffusion是一个预训练的大规模文本生成模型，由 Stability AI 开发，它基于Transformer架构，并特别优化了可控性和多样性。在使用它之前，你需要先下载并安装相关的库，如Hugging Face的Transformers库。以下是基本步骤： 1. **环境准备**：确保你已经安装了Python和pip，然后通过pip安装transformers库以及可能需要的其他依赖。 ```bash pip install transformers ``` 2. **加载模型**：从Hugging Face Model Hub加载Stable Diffusion的基础模型XL版本，通常像这样导入： ```python from transformers import StableDiffusionForConditionalGeneration model = StableDiffusionForConditionalGeneration.from_pretrained("sdyu/stable-diffusion-xl") ``` 注意，访问特定模型可能需要网络连接，并且官方可能会有额外的许可证要求。 3. **输入处理**：将你的提示或问题编码成模型可以理解的形式，比如将文本转换成Token IDs: ```python input_ids = model.tokenizer.encode(prompt="描述一幅夏日海滩的画面", return_tensors="pt") ``` 4. **生成文本**：调用`generate`函数来获取生成的文本： ```python response = model.generate(input_ids, max_length=50) decoded_response = model.tokenizer.decode(response[0]) print(decoded_response) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值