如何快速通过Stable Diffusion生成角色固定姿势?

本文主要分为两部分:

一、软件篇(如何搭建Stable Diffusion环境)

二、实战篇(如何完成一张立绘)

软件部分会为大家推荐一些B站优秀的UP主的教程,讲解的十分详细。

本文会先带大家了解模型、VAE和LORA这三个概念。而实战部分会以出草图 - 大量AI出图 - 局部修改(AI迭代)- 再次修改,这样一个过程。

图片

软件篇

前期需要准备:Stable Diffusion本地包、Stable Diffusion模型、VAE和LORA。

1.Stable Diffusion本地包

这里推荐秋叶的本地的Stable Diffusion包,如下图所示:

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.Stable Diffusion模型如何下载

https://civitai.com(点右上角眼睛可以开关18+模式)大多数模型都可以在C站找到,优先推荐在C站找,如果没找到,再去huggingface.com,它的资源相比更多一些,但使用起来没有C站方便。

在这里插入图片描述

3.模型如何选择

C站的好处是可以很直接看到效果图,网友的返图。甚至可以点开图片右下角的叹号,可以看到该图的大部分参数,可以直接复制到Stable Diffusion使用,大大方便了我们的作图流程。

图片

根据原图反向寻找模型。

打开Stable Diffusion,进入图片信息中,将原图拖入,在右侧就可以看到图片的全部信息。

图片

蓝框是提示词,黄框是反向提示词,红框就是我们需要的模型哈希值(即模型编号)将这个编号输入到C站的搜索框中,即可根据原图反向找到模型。

图片

4.模型VAE

VAE用于增强画面的颜色信息,如果你感觉画面发灰,大多是因为VAE的问题导致。大多数模型都会提供VAE的下载。(如下图红框)若没有VAE的显示,一般使用默认的 { final-prune.vae }

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

5.LORA是什么

LORA是用于稳定你的画面元素,例如想让画面出现特定的人物,武器,穿着等,都需要使用相对于的LORA。可以把LORA理解为稳定你画面的某种元素。

在这里插入图片描述

***图片

实战篇

1.草图绘制

这里要注意的点是把你需要的动作和造型尽量勾勒清楚,并且线条要足够深度和足够清晰,不然Stable Diffusion是识别不出来的。这里我们可以通过PS中的色阶选项将线稿进行拉深。

图片

2.关键词

关键词分为正面,负面两种关键词。正面关键词内容我们可以分为头部,上半身,四肢等逐一表述,较为清晰。把想要的动作(比如手拿着剑),衣服的材质颜色等一一说明,重要内容可以加上括号强调权重。

最后加上一些画面以及风格的补充词(独奏,最高质量,逼真等)。因为模型已经确定了风格,我们不需要加过多的一些风格上的描述词。

而反面关键词则是你不想画面出现的内容,这里分享一组比较万能的负面关键词:(bad-artist:1.0), (loli:1.2), (worst quality, low quality:1.4), (bad_prompt_version2:0.8), bad-hands-5,lowres, bad anatomy, bad hands, ((text)), (watermark), error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, ((username)), blurry, (extra limbs),

3.生成设置

我们将生成好的描述词复制进去,点击LOAR模型,点选想要的模型,在正面描述词里就会自动生成一条关于LORA的关键词,将词组最后的数字1改为0.5,降低其权重。

左上方菜单下拉选择需要的模型,本次使用的是国风三大模型,采样器选择DPM++ Stable DiffusionE Karras,采用步数选择30,生成批次选择6

图片

图片

4.Control Net设置及应用

页面滑动至下方点选Control Net选项,将线稿拖入其中,点击启用,点选后面的Pixel Penfect(像素完美),再选择Allow Preivew,选择Lineart这条比较长的选项和相对应的模型。

在Stable Diffusion新版本中这里会有直接可以选择的选项,直接选择Lineart的选项就好。(注:这里需要下载相对于的Control Net的模型)

点击爆炸小图标,我们就可以看到相对于的生成的线稿了。点击预览图下方的小箭头,线稿的尺寸分辨率就相对于配置上去了。

图片

5.批量生成

点击生成开始批量运算。这里我尝试了一下不同的大模型来生成不同的风格。

图片

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这里我们可以看到,通过Control Net的Lineart,可以很好的识别到我们草图的动作姿势和衣服造型等,我们可以选择一张较为满意的进行下一步操作。

注:如果电脑配置比较低,可以先将草图压缩下尺寸再拉进来识别线稿,这一步我们主要还是找整体画面的大感觉,对于画面模糊或者局部的BUG不用特别注意,会在下面的操作中进行细化补救。

6.图生图

接下来选择一张我们相对比较满意的图,点击预览下方的图生图按钮进入,进入后可以看到我们相对应的参数都已经自动配置上来了,这里我们需要再做的是重新选择我们的采样器DPM++ Stable DiffusionE Karras,接着将高度和宽度放大,重绘幅度建议控制在0.4,采样步数可以适当提高一些,30-50左右,点击生成,进行下一步的精细化生成。

注:如果电脑配置比较低,高度和宽度就不要一次拉太高。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

图片

图片

这里我将画面精细化生成后,又在PS中调整了一下并裁切了一些需要更多的细节的地方再进行放大重新生成。

7.细化

最后我们可以重点调整下脸部刻画,这里推荐一个插件Face Editor,他可以有效修缮脸部崩坏,头发奇怪等。然后再在PS中将BUG优化。

例如手部结构出错等,我们可以顺着AI生成的图像进行优化,或者制作深度图再次进入AI进一步生成,这里因人而异,采取最适合自己的方法就好。并调整下画面光影和整体氛围,因为这里只是作为一个小案例,就大概修缮了一下。

图片

可以看到,整体动作和衣服相对于草图的还原度还是比较高的。通过Control Net的Lineart,我们可以精准控制画面人物的动态衣服,使其更符合我们的需求。

以上就是如何快速通过Stable Diffusion生成角色固定姿势,如果你有其他快速方法,欢迎在评论区留言。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

  • 14
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Stable Diffusion 是一种基于扩散模型的生成人工智能技术,通常用于文本和图像内容的创造,尤其是高质量的自然语言描述和图像合成。以下是几种常见的 Stable Diffusion 模型: 1. **Diffusion Probabilistic Model (DPM)**: 这种模型的核心是一个概率过程,通过逐步增加噪声来将原始信号转化为最终的随机输出。在 Stable Diffusion 中,DPM 可能是指 UNet 或类似结构的解码器网络,用于从噪声样本恢复原始内容。 2. **Latent Diffusion Model (LDM)**: LDM 是对 DPM 的改进版本,它的工作原理是在潜在空间中进行扩散,使得模型能够更好地控制生成的内容并提高多样性。 3. **CLIP-guided Diffusion**: 结合了 CLIP( Contrastive Language-Image Pretraining)这样的预训练模型,这种变体允许用户通过文本提示指导生成的过程,提供更精确的指引。 4. **InstructGPT**: 类似于 DALL-E 2,它是基于类似架构但针对特定指令处理优化的模型,能够在给定上下文中生成相关的高质量内容。 5. **GLIDE**: 由 Stability AI 公司开发的一个知名模型,它擅长结合文本提示创建令人信服的图像,并支持更复杂的设计和插图任务。 6. **Chaos:** Facebook 的另一个项目,它也利用了类似的技术,提供了更强的创意灵活性和多样性。 每种模型都有其特点和应用场景,用户可以根据具体需求选择最适合的模型。对于更详细的信息或最新进展,建议查阅最新的研究论文和官方文档。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值