【Stable Diffusion零基础指南】第五课:“画风”自由切换!模型使用技巧_stable diffusion模型的基础算法是什么

哈喽这里是海绵

前言

在 AI 绘画领域,Stable Diffusion 是最受欢迎的开源项目之一。它通过扩散模型技术实现了高质量的图像生成。然而,Stable Diffusion 的核心在于各种 模型文件,每个模型都拥有不同的特性,适用于不同的场景。在本文中,我们将全面介绍 Stable Diffusion 模型的种类、功能及如何选择最适合自己的模型,让你在 AI 绘图领域快速入门并成为高手!

01什么是模型?

Stable Diffusion 模型是基于扩散算法训练出来的权重文件(如 .ckpt 或 .safetensors 格式),它定义了 AI 生成图像的能力和风格。

模型的训练数据和方法决定了它生成图像的质量和表现风格。简单来说,模型是 Stable Diffusion 的“灵魂”。

02模型有哪些?

Stable Diffusion 的模型主要可以分为以下几类:

1. 官方基础模型

  • SD 1.x 系列(如 1.4、1.5):最经典的模型,适合多种通用场景。

  • SD 2.x 系列(如 2.1):在分辨率和细节上有所提升,但可能需要更复杂的提示词。

  • 特点:官方模型稳定且通用,适合入门用户。

2. 社区训练的自定义模型
  • 风格化模型:如动漫风、油画风、科幻风等,生成特定艺术风格的图像。

  • 例子:AnythingV5(动漫风),DreamShaper(艺术风格化)。

  • 领域特化模型:如用于生成人像、景观、科幻场景。

  • 例子:RealisticVision(写实风格)。

  • 融合模型:通过多模型融合,结合不同的风格和特点。

  • 例子:ChilloutMix(用于高质量人像生成)。

3. 自定义 LoRA 和 Fine-tune 模型
  • LoRA(Low-Rank Adaptation):一种轻量化模型微调方法,常用于叠加风格。

  • Fine-tune 模型:针对特定场景或数据集微调得到的模型,表现更为精准。

03文件构成和加载位置

1. 模型加载位置

打开Stable Diffusion WebUI 安装目录,依次打开 models/Stable-diffusion 文件夹,将下载好的模型复制到该文件夹内,就可以用 Stable Diffusion 去加载。

2. 模型文件构成

Checkpoint 文件占用的存储空间相对较大,常规情况下占用存储 3-7GB 之间。

  • 它的文件后缀名通常是 .ckpt,我们也常把这种几 GB 级别的模型叫做 “大模型”。

  • 还有一个格式的大模型,后缀是 .safetensors,占用空间会比较小一些,通常 1-2GB 就可以搞定,是模型训练者们为了使模型变得更加可靠、高效而专门开发的。

3. VAE模型

VAE 的全称叫做 “变分自解码器”,负责将加噪后的潜空间数据转化为正常的图像。从实用属性上看,可以粗略地把它理解为 AI 绘图的一种“调色”滤镜,因为它最直观地影响的东西就是画面的色彩质感。

目前,多数比较新的模型其实都已经把 VAE 模型整合进大模型文件里了,但也不排除少数没有的,多数模型作者会考虑到这一点,并且推荐他们认为合适的 VAE。

此外,也有一些普遍适用于大多数模型的 VAE。

例如:kl-f8-anime2-vae,

下载地址:https://civitai.com/models/23906/kl-f8-anime2-vae。

VAE 的安装位置在 models/VAE 文件夹内,可以把针对特定模型的 VAE 改成和 Checkpoint 一样的名字,然后在 SD WebUI 的 VAE 选项这里勾选自动,这样就可以针对不同模型自动切换 VAE。

图 VAE模型设置

===

04模型下载渠道

1. Hugging face

HuggingFace,俗称“抱脸”,它是一个允许用户共享 AI 学习模型和数据集的平台,包含的内容非常广,不仅包括 AI 绘画,还包括很多其他 AI 领域的东西,也因此呈现出了比较高的专业门槛。

网站地址:https://huggingface.co/

图 hugging face首页

2. Civitai

Civitai,俗称“C站”,它是一个 AI 绘画模型分享平台,在 C 站上访问、下载模型均不需要注册,推荐大家在不注册的情况下使用。

网站地址:https://civitai.com/

图 Civitai首页

05模型分类

1. 二次元模型

搜索标签与风格关键词:illustration、painting、sketch、drawing、painting、comic、anime、catoon。

2. 真实系模型

搜索标签与风格关键词:photography, photo, realistic, photorealistic, RAW photo。

3. 2.5D模型

搜索标签与风格关键词:3D, render, chibi, digital art, concept art, {realistic}。

06模型推荐

二次元模型

1. 万象熔炉 Anything

它是最受欢迎的二次元融合模型之一,针对二次元风格拥有非常好的效果,对提示词要求并不过分刁钻,用简单的提示词也可以创造出不错的效果,可以利用它打造出非常接近于类似于漫画、插画、角色立绘等的画面风格。

链接地址:https://civitai.com/models/9409

图 Anything首页

2. Counterfeit

它是一个泛用性很广的插画风模型,细节还原度高,可以生成出各种包含复杂室内外场景的绘画作品。如果你喜欢这种精致感溢出屏幕的画面风格,那它一定是你要去尝试一下的模型之一。

链接地址:https://civitai.com/models/4468

图 Counterfeit

3. Dreamlike Diffusion

它是一个受欢迎且非常有特色的漫画插画风模型,在合适的提示词和画面设计的情况下,它能够为你打造梦幻般、具有幻想色彩的画面和作品。用它创作一些超现实的魔幻主题作品是非常刺激的。

图 Dreamlike Diffusion

真实系模型

1. Realistic Vision

它是真实类,朴素且有整活空间的写实模型,它不光可以用来做人像,还可以用来生成实物的食物、动物图片,一些创作者也会拿它来整花活,做些非常具有真实感的假新闻照片等等。

图 Realistic Vision

2. LOFI

它是真实类,精致的照片级人像专精模型,是一款能真正实现“照片级”人像输出的大模型。

3. majicMix realistic

图 majicMix realistic

2.5D模型

NeverEnding Dream

2.5D 风,非常适合“三次元化”的 2.5D模型。

链接地址:https://civitai.com/models/10028

图 NeverEnding Dream

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈

请添加图片描述

在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

请添加图片描述

### 如何调整 Stable Diffusion 模型生成图片的画风 为了调整 Stable Diffusion 模型生成图片的画风,可以采取多种方法来实现这一目标。这些方法主要集中在修改输入参数、使用特定插件以及优化提示词等方面。 #### 修改输入参数 通过改变模型接收的具体数值或设置,能够显著影响最终输出的艺术效果。例如,在 GhostReview 评价体系中提到过关于 **模型兼容性** 的考量[^1],这其中包括但不限于不同类型的 LoRA 和 Prompt 设计。对于希望微调画风的情况来说: - **LoRA (Low-Rank Adaptation)** 是一种轻量级迁移学习技术,允许用户加载预训练好的小型网络层文件至现有大型模型上运行,从而快速适配新领域数据集并获得独特视觉特征。 - **Prompt Engineering**: 提供给 AI 更加精确详细的描述语句可以帮助引导其创作方向;比如加入艺术家名字、艺术流派关键词等信息均有助于塑造期望中的画面氛围。 #### 使用特定工具与资源 除了直接操作内部机制外,还有许多外部辅助手段可供选择。如 InsCode 平台提供了丰富的教程指导使用者如何高效利用该软件完成高质量作品制作过程[^2]。此外,社区内也存在大量由爱好者分享出来的实用技巧和素材库,这些都是提升个人项目质量不可或缺的部分。 #### 实践案例展示 下面给出一段简单的 Python 代码片段用于演示如何借助 `diffusers` 库加载自定义 LORA 文件以达到更改默认绘画样式的功能: ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" lora_path = "./path_to_your_lora_file.safetensors" pipe = StableDiffusionPipeline.from_pretrained(model_id).to("cuda") # Load the LoRA file into pipeline pipe.unet.load_attn_procs(lora_path) prompt = "A fantasy landscape with mountains and rivers under sunset." image = pipe(prompt=prompt).images[0] image.show() ``` 此段脚本展示了怎样引入额外权重文件来自定义渲染特性,进而满足创作者对特定美术风格的需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值