Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服，换姿势人设三视图一键生成教程大全

咕噜咕噜wy

已于 2024-05-23 09:32:31 修改

阅读量1.2k

点赞数 21

文章标签： stable diffusion 3d

于 2024-05-15 16:25:37 首次发布

本文链接：https://blog.csdn.net/weixin_45213266/article/details/138913016

版权

Stable Diffusion

一、**文生图入门与提示词基础**
二、图生图入门
三、ControlNet插件功能详解
四、塔罗牌生成辅助教程
- - The Fool（愚者）
  - - 男性效果图

一、文生图入门与提示词基础

采样工具介绍

柔和插画模式-进阶（Euler_a）
柔和插画模式-景深（Euler）
油画模式（LMS_Karras）
高文本插画模式（DPM++_2S_a）
高文本插画模式-景深（DPM++_2M）
强文本插画模式-景深进阶（DPM++_2M_karras）
强文本细节模式-进阶（DPM++_SDE_karras）

### 一、提示词基本书写方式

英文书写
以词组作为单位的
多数时候推荐将长句拆分
词组与词组之间需要插入分隔符（一个英文里的半角逗号）
可以换行，但每一行的行末最好也打上分隔符

1.提示词权重语法

2.负面提示词

希望出现什么，往正向提示词里丢；不希望它出现什么，就往反向提示词里丢
常见负面提示词：

低质量的：如low quality、low res
单色灰度：如monochrome、grayscale
样貌身形：如bad proportions、ugly
四肢问题：如missing hands、extra fingers

可以尝试用反向提示词正向生成一些元素

3.参数设置

采样步数
采样步数越高，画面越细致
20步以上的提升较小，但却要花费额外算力
```
  推荐范围：10~30之间（默认20）
```
采样方法
各种不同的生成算法
推荐下方几个带有“+”号的
如模型有推荐算法，优先使用
柔和插画模式-进阶（Euler_a）
柔和插画模式-景深（Euler）
油画模式（LMS_Karras）
高文本插画模式（DPM++_2S_a）
高文本插画模式-景深（DPM++_2M）
强文本插画模式-景深进阶（DPM++_2M_karras）
强文本细节模式-进阶（DPM++_SDE_karras）
分辨率
分辨率太小：图片天生模糊，缺乏细节
分辨率太大：计算慢，容易爆显存，可能出现多人的情况
需要通过反复试验，了解当前设备条件下，什么分辨率既能保证质量又能兼顾效率
其它选项
提示词相关性：还原执行提示词的程度（安全范围：7~12）
面部修复：推荐勾选
平铺：如果不是做图案千万不要勾选
批量出图
按照批次数连续进行作图
单批数量推荐保持为1
因为单批作多张图的方法是将其“拼合”为一张大图去生成的

二、提示词六要素

提示词模板.003.jpeg

人物特写镜头	全身	full body
	大特写	Detail Shot(ECU)
	脸部特写	Face Shot (VCU)
	头部及以上	Big Close-Up(BCU)
	颈部及以上	Close-Up(CU)
	胸部及以上	Chest Shot(MCU)
	腰部及以上	Waist Shot(WS)

提示词模板.004.jpeg 提示词模板.005.jpeg 提示词模板.006.jpeg

选择视角	第一人称视角	first-person view
	鸟瞰	A bird’s-eye view，aerial view
	顶视	Top view
	仰视	Bottom view
	电影视角	cinematic shot
	大远景	extreme long shot
	远景	long shot
	中景	Mid shot
	超特写	extreme close up
	中特写	medium close up
	特写
	空镜
	卫星视图

提示词模板.007.jpeg 提示词模板.008.jpeg

三、通用反向提示词

:::tips
(worst quality, low quality:1.2),(multiple views:1.4),monochrome,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, oversized head,extra body,extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), (deformed fingers:1.2), (long fingers:1.2)
:::

四、随机种子使用示例

bubble, rating:safe, air_bubble, underwater, 1girl, fish, solo, water, hatsune miku,(Impressionism:1.4),

随机种子的意义
- 提示词修正
  - 对背景内容进行进一步定义
    - （） in background：精确定义背景内容
    - depth of field：景深，有助于营造摄影氛围
- 随机种子
  - “抽卡”的核心：
    - 每次会以一种不同的方式进行随机生成，随机生成的方式被记录成一组数字，即随机种子
  - 不同的随机种子带来随机性，相同的随机种子实现的效果相似
- 固定随机种子的方法
  - 图库浏览器也有记录种子数
  - 保持随机种子一致，对提示词进行修改，实现人物风格的相对一致

获取随机种子调整差异强度

再次生成结果有点差异但差异不大

二、图生图入门

四、GPT调教文案

1.

:::tips
JMBot是一位有艺术气质的AI助理，帮助人通过将自然语言转化为prompt。
JMBot的行动规则如下：
1.将输入的自然语言组合想象为一幅完整的画面，你需要根据描述自行随机添加合理的，不少于5处的画面细节；
2.第一部分：((masterpiece)), ((best quality)), 8k, high detailed, ultra-detailed, ；
3.第二部分：用简短的英文描述画面的主体，如：A girl sitting in a classroom, 输出这段英文；
4.第三部分：用英文单词或者词组描述画面的所有主体元素,元素之间用“,”隔开，如果有哪个元素比较重要，请给代表这个元素的英文词组增加小括号，最多可以增加三层小括号，如：1girl, ((black hair)), smiling, (windows in background), sunshine,输出这段英文;
5.JMBot会将以上生成的三部分文本用英文逗号连接，中间不包含任何换行符的prompt作为最终结果;
6.JMBot输出时将直接输出prompt，而不包含任何说明和解释。
接下来你将扮演JMBot，要处理的自然语言为：
:::

2.

:::tips

以下提示用于指导Al绘画模型创建图像。它们包括人物外观、背景、颜色和光影效果，以及图像的主题和风格等各种细节，以下是一些示例：
Example1:火系女元素使
场景描述:火焰舞动,炽热气息,火之女巫,无尽能量,魔法飞扬
prompt:best quality, masterpiece, 1girl, young adult, passionate gaze, depth of field, fiery red hair, spirited, dynamic, slender waist, athletic figure, long legs, energetic movements, powerful stance, robe, fire-themed attire, gold embroidery, arcane symbols, flame patterns, volcanic landscape, burning plains, raging bonfires, flickering torches, smoldering embers, fiery tornado, red-orange skies, intense heat, natural volumetric lighting, vibrant shadows, striking contrasts, sharp, dynamic composition, vividly realistic, richly detailed, detailed facial features, mesmerizing eyes, detailed fire magic, intricate costume design, blazing background, 8K, Evocative,fervent casting pose, face focus,
Example2:木系女元素使
场景描述:绿意盎然,自然和谐,大地之女,生命之源,魔法闪耀。
prompt:best quality,masterpiece,1girl, gentle young woman, peaceful expression,depth of field,full body, lush green hair, earthy, nurturing, slender waist, graceful figure, long legs, serene movements,harmonious stance, robe, plant themed attire,delicate embroidery, arcane symbols, leaf patterns, verdant forest, ancient trees,moss- covered stones, blooming flowers, entwined vines, rustling leaves, dappled sunlight, clearings, gentle breeze, soft shadows, earthy hues, natural volumetric lighting, balanced contrasts, sharp, organic composition, nature- realistic, exquisitely detailed, detailed facial features,enchanting eyes, detailed nature magic, intricate costume design, immersive,background, 8K, Evocative, Sharp focus, tranquil casting pose,
Example3:水系女元素使
场景描述:水流涌动,宁静优雅,水之女神,静谧之美,魔法缠绕
prompt:best quality,masterpiece,1girl, graceful young woman, serene expression, medium shot, depth of field, flowing blue hair, elegant, poised, slender waist, lithe figure, long legs, fluid movements, graceful stance, robe, water themed attire, silver,embroidery, arcane symbols, wave motifs, oceanic landscape, pristine beach,crashing waves, coral reefs, cascading waterfalls, sea spray, swirling whirlpools, clear blue skies, soft white clouds, sunlit reflections, natural volumetric lighting, tranquil shadows, soothing contrasts, sharp, harmonious composition, photo realistic, finely detailed, detailed facial features,mesmerizing eyes,detailed water magic,intricate costume design, vibrant,background, 8K, Evocative, fluid casting pose,
Example4:强壮的野蛮人
场景描述:力量无穷,勇猛无畏,狂暴勇士,力量之巅,战斗无尽。
prompt:best quality,masterpiece,1 person,mighty warrior,fearsome expression,depth of field,wild hair,massive muscles,intimidating,bulging biceps,rippling abs,powerful legs,forceful movements,aggressive stance,loincloth,fur garments,tribal tattoos,primitive jewelry,bone and leather accessories,untamed wilderness,harsh desert,rocky outcrops,vast plains,fierce sandstorm,predatory beasts,roaring campfire,tribal symbols,ancient battleground,earthy hues,natural volumetric lighting,intense shadows,bold contrasts,sharp, dynamic composition,strikingly detailed,detailed facial features, menacing eyes, detailed tribal markings, intricate outfit design, powerful background,8K,Evocative,overwhelming battle pose,
Example5:拿着圣剑的骑士
场景描述:荣耀璀璨,勇敢无畏,光明骑士,正义使命,力量显现。
prompt:best quality, masterpiece, 1person, valiant knight, determined expression, depth of field, noble hairstyle, courageous, strong, broad shoulders, muscular build, powerful posture, gallant movements, chivalrous stance, armor, radiant, intricate engravings, shining helmet, divine symbols, cape, wielding sacred sword, gleaming blade, hallowed weapon, majestic horse, fortified castle, battlements, banners, sunlit skies, warm light, epic landscape, rolling hills, radiant atmosphere, natural volumetric lighting, bold shadows, vivid contrasts, sharp, heroic composition, historical-realistic, meticulously detailed, detailed facial features, intense eyes, detailed armor design, intricate sword details, grandiose background, 8K, Evocative, Sharp focus, triumphant sword pose,
我希望你给我写一份有关「性感魅魔」的详细描述语，遵循示例prompt的结构，即对场景的非常简短的描述，然后给出场景的prompt，并用逗号分隔的修饰符，以改变情绪、风格、灯光、艺术风格等。
:::

成品展示

生成信息

SFW, 1girl, walking, forest, path, sun, sunshine, shining on body,
yellow skirt and white t-shirt, blonde hair, long hair, smiling, stretching arms, hands up, beautiful, happy,
trees, bush, (white flower:1.2), path, outdoor,
(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 872040134, Size: 800x800, Model hash: 038ba203d8, Model: AbyssOrangeMix2_SFW, Clip skip: 2, ENSD: 31337

50个效果提示

https://br-d.fanbox.cc/posts/5587778

50个常用背景

https://grm.chichi-pui.com/articles/incantation/aicollection/hpa3n41o4lqi

优质图片的重要构成基础

checkpoint(模型)

后缀为ckp或safetensors（一般1G-10G）

安装路径: 盘符:\软件文件夹\models\Stable-diffusion

模型搜索网站

Hugging Face（抱脸）：https://huggingface.co/models
- 深度学习和人工智能的专业网站，大佬多，但找起来不是很直观
Civitai（C站）：https://civitai.com/
- 全世界最受欢迎的AI绘画模型分享网站，除了模型还有很多优秀作品展示

loar(mod补丁包)

调整特定的脸型衣服姿势风格等
后缀为safetensors（一般100MB左右）
安装路径: 盘符:\软件文件夹\models\Lora

VAE(模型美化包)

后缀为PT（一般300MB左右）
安装路径: 盘符:\软件文件夹\models\VAE

优质图片的重要构成进阶

TEXTUAL(光影效果,细节提升)

链接：https://pan.quark.cn/s/b869837a3181
安装路径: 盘符:\软件文件夹\embeddings
使用方法: 在负关键词里输入 EasyNegative

extensions（插件）

放的都是一些插件例：tag反推,controlent，汉化包等。
安装路径: 盘符:\软件文件夹\extensions

图生图原理

和文字一样，图片也可以作为一种信息输送到AI那里进行分析
“重绘”的本质，是图片的像素被结构分析后，使得成品和原图存在相似之处

图生图基本步骤

上传图片

通过拖拽或者资源管理器加载图片
（其他操作的上传动作也是一致的）

填写提示词
使用提示词描述画面内容
即便是经由图生图去让AI绘画，也需要具体、准确的提示词
内容型+标准化提示词
参数设置
重绘幅度
原图和成品图有多“像”
太高了容易变形，太低了实现不了“重绘”的效果
分辨率
优先维持和原图一致
如果原图太大，可以按比例折算到安全范围内
如果成品比例与原图不同——
先在电脑上裁剪好再导入
三种不同的裁切方式提供适应尺寸

① 图生图基本操作步骤

原图

粗糙版成品

  - 图片![image.png](https://cdn.nlark.com/yuque/0/2023/png/21517383/1685898448974-67135cff-a11c-4633-98a9-42955deb6477.png#averageHue=%235a4537&clientId=ue188d37f-8286-4&from=paste&id=u14ff2ba0&originHeight=800&originWidth=800&originalType=url&ratio=0.800000011920929&rotation=0&showTitle=false&size=1139530&status=done&style=none&taskId=ue6c5ee09-c2e6-4728-bc87-533ab84f179&title=)

  - 生成信息

     - 1boy

     - Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 606368912, Size: 800x800, Model hash: 038ba203d8, Model: AbyssOrangeMix2_SFW, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Mask blur: 4

精细版成品

  - 图片![image.png](https://cdn.nlark.com/yuque/0/2023/png/21517383/1685898449323-24f079fb-7954-4b28-a71e-5e77f843264b.png#averageHue=%23454936&clientId=ue188d37f-8286-4&from=paste&id=u85297d1b&originHeight=800&originWidth=800&originalType=url&ratio=0.800000011920929&rotation=0&showTitle=false&size=1211440&status=done&style=none&taskId=ua922d527-34a5-4ada-9903-c345decfd25&title=)

  - 生成信息

     - 1man, short hair, gold hair, blue eyes, beard, red plaid shirt, woolen hat,

     - (masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,

     - Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

     - Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 529925132, Size: 800x800, Model hash: 038ba203d8, Model: AbyssOrangeMix2_SFW, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Mask blur: 4

  - 可以固定随机种子，自行尝试调整提示词！

三、ControlNet插件功能详解

Controlnet 插件安装地址 : https://github.com/Mikubill/sd-webui-controlnet

安装路径: 盘符:\软件文件夹\embeddings

1.1版本模型：链接：https://pan.quark.cn/s/e5374a2da4af

安装路径: 盘符:\软件文件夹\models\Stable-diffusion\ControlNet

一、ControlNet 线稿上色

通过反推提示词拿到线稿的tag

2.预处理器选择invert 模型选择lineart_anime

3.点击生成

4.生成前与生成后对比

微信图片_20230522191309.png

二、图生图线稿上色

1.重绘幅度数值越大与原图相似性越低

2.重绘幅度数值越小与原图相似性越高

三、生成全套表情包

参考教程 : https://www.bilibili.com/video/BV1HY411i7aa/?spm_id_from=333.337.search-card.all.click&vd_source=48339f6fab0f5a5c8038ad09be197d2c

第一种方法:

1.首先根据提示词生成几张图（选一张喜欢的复制seed）

(cool boy face), close front shoot symmetrical photo portrait of one young male werewolf ((Angry, pissed-off face)) with wolf ears, in the forest, dark hair, short hair, ((symmetrical face))

2.准备一个excel A列放入表情名

3.B列放入提示语，并把要替换表情的位置内容改成小写x 就是黑色背景的内容

4.c列放入公式 =SUBSTITUTE(B1,“((xx))”,CONCATENATE(“((”,A1,“))”))

5.然后C列按住+往下拖

6.脚本选择从文本框或文件载入提示词，把提示词放入输入列表

7.生成

第二种方法：根据提示词生成 (有局限性比如有的大模型生成不出来这样的效果)

:::tips
multiple poss and expressions, emoji, chibi, dynamic pose
Negative prompt: NSFW, text, error, Worst quality, signature, watermark, username, poorly drawn hands, poorly drawn face, fused fingers, too many fingers, long neck, cross-eyed, mutated hands, polar lowres, bad body, bad proportions, missing legs, extra leg
Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 592178833, Size: 512x512, Model hash: 7f96a1a9ca, Model: anything-v5-PrtRE, Denoising strength: 0.7, ENSD: 31337, Hires upscale: 2, Hires upscaler: Latent
:::

四、3D Openpose

openpose 3D是一种3D姿势估计框架,它可以从RGB-D摄像机的输入中推测出人体的三维姿态
插件下载链接：https://pan.quark.cn/s/9de5a991d52f
gitHub连接 https://github.com/nonnonstop/sd-webui-3d-open-pose-editor
网页端连接 https://zhuyu1997.github.io/open-pose-editor/

一、根据固定姿势生图

1.调整出来一个姿势点击播放按钮

2.姿势发送到ControINet 点击文生图

3.调整参数

提示词
Masterpiece, best quality, 1 girl, short skirt, braided braid, short shirt, pure white background

4.生成结果

二、局部重绘-换衣服

1.选择图生图,上传图片

2.把要重绘的地方选上

3.生成结果，衣服已经被修改

二、局部重绘-换背景

1.上传好图片把不需要重新绘制的地方涂起来

2.选择重绘非蒙版内容

3.更换提示词

Only one beach

4.生成结果背景已更换

三、openpose编辑器

1.在线 https://huggingface.co/spaces/jonigata/PoseMaker2

https://huggingface.co/spaces/shi-labs/Prompt-Free-Diffusion

2.上传图片调整尺寸点击replace

四、人设三视图一键生成

1.提示词

:::tips
masterpiece, best quality, 1girl, simple background, (white background:1.5), multiple views
:::

2.把pose放入图像中

3.生成结果

四、生成卡通头像

四、塔罗牌生成辅助教程

The Fool（愚者）

星座：白羊座（Aries）
描述：将愚者与白羊座的活力、勇气和冒险精神相结合。绘制一个无忧无虑的愚者，手持白羊座的符号，并站在一个充满活力的场景中。
正位绘画提示词：新的开始、勇气、无忧无虑
逆位绘画提示词：冲动、不成熟、不负责任

假设你的主题是“星座之旅”，你打算绘制一副塔罗牌，每张牌代表不同的星座愚者是白羊座愚者的绘画词不少于15处细节画面中同时包括正位与逆位

The Fool（愚者）- 星座：白羊座（Aries）与塔罗元素结合绘

男性效果图

:::tips
The fool, surrounded by the symbol of Aries, is surrounded by burning flames, carrying luggage. The fool stands on the top of a mountain, facing the wind, and is guided by the symbol of Mars. The fool holds a bow and arrow in his hand, wears a horn on his head
愚者，被白羊座的象征包围着，被燃烧的火焰包围着，背着行李。愚者站在山顶上，面朝风，以火星的象征为指引。愚者手里拿着弓和箭，头上戴着角
:::

咕噜咕噜wy

关注

21
点赞
踩
19

收藏

觉得还不错? 一键收藏
打赏
0
评论
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服，换姿势人设三视图一键生成教程大全

柔和插画模式-进阶（Euler_a）柔和插画模式-景深（Euler）油画模式（LMS_Karras）高文本插画模式（DPM++_2S_a）高文本插画模式-景深（DPM++_2M）强文本插画模式-景深进阶（DPM++_2M_karras）强文本细节模式-进阶（DPM++_SDE_karras）### 一、提示词基本书写方式英文书写以词组作为单位的多数时候推荐将长句拆分词组与词组之间需要插入分隔符（一个英文里的半角逗号）可以换行，但每一行的行末最好也打上分隔符。
复制链接

扫一扫