Stable Diffusion-新手入门指南

251 篇文章 5 订阅

1、Stable Diffusion

Stable Diffusion 是一种基于潜在扩散模型(Latent Diffusion Models)的文本到图像生成模型,能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。

如何使用Stable Diffusion?

你需要给出一个描述图片的提示,例如:姜饼屋,西洋镜,焦点,白色背景,吐司,脆麦片;生成图片如下:

img

img

Stable Diffusion优势

类似的文本生成图像服务有很多,例如DALLE和MidJourney。那为什么要选择Stable Diffusion呢?

•开源:相较于刚才提到的两个工具,Stable Diffusion对于用户而言最大的优势在于免费。

•高质量:Stable Diffusion模型可以生成高分辨率、样化的图像,与真实图片难以区分。

•灵活性:Stable Diffusion模型可以处理各种类型和风格的文本输入和图像输入,无论是简单的描述、复杂的故事、抽象的概念、还是具体的要求。

•稳定性:Stable Diffusion模型可以避免出现常见的图像生成问题,如模糊、伪影、重复、不自然等。

2、多样化风格模型

img

风格切换

在使用过程中大家可以根据自身的设计需求进行风格模型切换,例如:

•Stable Diffusion v1.4/.5/2.0/2.1:官方基础模型。百搭各种风格;

•Realistic Vision v2.0 : 擅长生成照片风格的逼真图像;

•Anything v3.0:动漫风格;

•dreamlike-photoreal :写实风格;

动漫风格

img

img

逼真图像

img

img

img

3、产品推荐

在线生成器

对于AI绘画感兴趣的0基础初学者,可以使用一些免费在线生成器生成图片,无需进行镜像部署等相对复杂的操作环节。

AI绘画 Web UI

免费在线生成器的功能非常有限,对于图片有更高要求的人而言,可以使用更高级的Web UI(网络产品界面设计)。我使用的是UCloud的GPU云服务器,搭配平台提供的AI绘图 Web UI镜像,开箱即用,无需进行繁琐配置。请参阅“如何一键部署安装Stable Diffusion Web UI”安装指南。

img

4、图像生成

Prompt

虽然AI发展迅速,但Stable Diffusion仍然无法精准读懂用户的想法,更多的是需要靠用户尽可能详细地描述需要的图像主题,确保包含有力的关键词来定义整体图像风格。Prompt可以作为元素权重的关键词,让AI更倾向于在绘图中绘制和Prompt的内容相关的元素。

img

•假设您想生成一张比较有个性的猫咪的照片。一个简单的提示:有个性的猫,生成图片如下:

img

如果我们用更加详细具体的提示再生成一次:一只灰色的猫,戴耳机,赛博朋克

img

从前后两次提示生成的图片对比来看,第一张就过于简单,第二种相对更加符合我们的预期;所以在写提示时,我们要详细描述我们需要的图像风格以及整体的构建。对于初学者而言,前期我们可以借助AI提示生成器学习逐步过程和重要关键词,从而使生成的图片尽可能达到预期效果。

另外在写提示时,关键词也十分重要,有向导性的关键词可以使最终生成的图片更加符合用户的预期效果,例如:

名人的名字(例如 Emma Watson)

艺术家姓名(如梵高)

艺术媒介(例如插图、绘画、照片)

后续我们会单独讲解有关提示构建和示例关键字的更多信息。

Negative prompt

Negative Prompt则是和Prompt相反,是一个反向加权的权重关系,也就是减低某些元素出现的频率,从而约束AI的行为。

img

参数设置

为了使图片达到更加精准的预期效果,我们在进行图像生成的过程中也可以去调整整体的参数设置,以下是一些比较重要的参数参考:

img

Image size:输出图像的大小。标准尺寸为 512×512 像素。将其更改为纵向或横向尺寸会对最终生成的图片效果产生很大影响。例如使用纵向尺寸最终会生成全身图像。

Sampling steps:默认 20,整体可根据最终生成的图像效果去设置。适当大一些的可以让画面内容更细致,小的话就没那么细致,想要追求更好的效果也可以将此参数适当调大到30左右。当然,参数越大越吃性能。

CFG scale:可以简单理解为AI对描述参数的倾向程度,默认典型值为7,如果希望最终生成的图像更符合提示,可以适当将参数调大一些。

Seed value:-1 生成随机图像,这个随机数影响画面的内容,如果seed以及Negative Prompt和Prompt都相同,生成几乎完全一致的图片的概率就很高。个人建议这个不用特意设置,默认就行;如果对生成图像有明确要求,可以根据去看调整参数大小。

Batch count:一次性出图的数量,出图数量越多,生成越慢。

5、定制模型

Stability AI及其合作伙伴发布的官方模型称为基础模型。例如 Stable Diffusion1.4、1.5、2.0和2.1。

定制模型是基于基础模型进行训练的。目前,大多数模型都是从 v1.4 或 v1.5 开始训练的。他们通过额外的数据训练,用于生成特定风格的图像。

以下是 5 种不同型号的比较:

img

选择哪种模型

对于初级玩家来说,可以使用基本模型先摸索整体玩法和应用,建议先从V1.5版本开始。基础模型分为两个主要组:v1和v2。v1模型包括1.4和1.5版本,而v2模型则包括2.0和2.1版本。

如何训练新模型

训练模型的两种主要方法是:(1) Dreambooth和 (2) embedding。

目前整体看来,Dreambooth更强大,因为它对整个模型的权重进行微调。嵌入则保持模型不变,但会找到描述新主题或风格的关键词。

6、图生图

img

除了上述提到的文生图(txt2img),在选项卡中还有img2img,Extras,PNG Info,Checkpoint Merger,Train,Additional Networks,Dreambooth,Settings,Extensions,其中常用的也还有img2img图生图。

图像精准控制

ControlNet使用输入图像作为参考图,然后程序根据此图按一定的模式预处理一张新图,之后再由AI根据这两幅图绘制出成品;用户也可以关闭程序的预处理功能,直接输入一张用户自己处理好的图片当作预处理图,之后AI仅根据这副图生成成品。它可以提取特定信息,例如动物姿势。下面是使用 ControlNet 从输入图像复制动物姿势的示例。

img

Input

img

Output

图像分割

segment anything支持图像分层,切割,单次可处理单张或多张图片。下面以一只猫的图片为示例,基于sam模型可以快速实现图像的分层、蒙版、分割。

img

Input

img

Output

图像微调

Additional-Networks可支持基于LoRA模型微调图片风格。以Prompt:“a grey cat, headphone, cyberpunk”为例,如图所示模型输出结果如下:

img

Input

img

Output

区域提示

Regional Prompter可以通过设置区域提示来控制生成图像的具体细节和特征。您可以使用区域提示来指定生成图像中特定区域的外貌、风格或属性。下面是在左下角放置一只狼,在右下角放置头骨的示例。

img

深度图像

Depth-to-image是指从深度图或深度信息生成图像的过程。它可以检测输入图像中的前景色和背景色,生成的输出图像将遵循相同的前景色和背景色。以下是一个示例:

img

Input

img

Output

7、视频制作

Deforum是一种将Stable Diffusion的能力与动画的动态性相结合的短视频剪辑。目前该插件在社交媒体平台上越来越受欢迎,它们以多种形式呈现,如艺术动画、形态变换效果或超现实的视觉序列。

通过这个新手指南,我们可以了解使用Stable Diffusion生成图像的基本知识和技巧。后续我们将针对每个环节给大家做更加细致的讲解以及在线演示操作细节。让我们一起深入探索,发现更多创作的可能性!

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍代码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入门stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值