前言
StableDiffusion是目前为止热度最高的开源以文生图模型,它上限很高,下限也很低;对比Midjourney来看,需要花更多的心思才能生成效果满意的图片。
但是StableDiffusion的优势是开源,且可以和LoRA微调结合,选择不同的lora模型,生成特定风格的图片,这样一来,StableDiffusion+LoRA就可以更容易生成很多很精美的图片。
接下来介绍一些平台,使用这些平台均可以生成非常精美的图片,本文封面即使用SD生成。
一、基本先验知识:
1. LoRA是什么:
LoRA权重是叠加在原始模型上的一个小型模型,它使得我们可以用StableDiffusion生成不同风格的图片。
2. Prompt-提示词:
生成图像的提示词,就想象你在和StableDiffusion玩你画我猜,StableDiffusion会尽力画出Prompt所描绘的内容。prompt分为正向和负向: **negative prompt(负向提示)**是一种参数,用于告诉模型在生成图像或文本时避免出现特定的元素、风格或特征。负向提示的作用是引导生成过程远离负向提示中描述的内容,从而改善生成结果的质量和相关性。
二、Stable Diffusion Prompt教学
prompt分为positive和negative prompt:
negative prompt(负向提示):告诉模型在生成图像或文本时避免出现特定的元素、风格或特征。负向提示的作用是引导生成过程远离负向提示中描述的内容,从而改善生成结果的质量和相关性。
positive prompt(正向提示):生成图像的提示词
1) Prompt分割符号
使用逗号 , 用于分割词缀,且有一定权重排序功能,逗号前权重高,逗号后权重低。例:girl, beautiful
2) Prompt建议的通用范式
建议用以下归类的三大部分来准备相关提示词
- 前缀(画质词+画风词+镜头效果+光照效果)
- 主体(人物&对象+姿势+服装+道具)
- 场景(环境+细节)
示例:
- 前缀:Flowers, Spring Festival, New Year, (Fireworks: 1.1),
- 主体: White background, Blue theme, Sea,(Cactus:1.1),Sunshine,Beach,Piano,Guitar,1People,
- 场景: Back view, Band,
3) Prompt更改提示词权重
使用小括号()增加模型对被括住提示词的注意 (提高权重)。
一般流程:先把要描述的画面写下生成一次,根据生成结果修改prompt进行调试,画面中需要强调的实体xxx用 (xxx: 1.x ) 语法形式来提升权重,其中 xxx 是你要强调的词, 1.x 代表要提升的比例,如 1.5 就是提升 150% 的权重。权重取值范围 0.4-1.6,权重太小容易被忽视,太大容易拟合图像出错。例:(beautiful:1.3) 。叠加权重:通过叠加小括号方式提高权重,每加一层相当于提高1.1倍权重,例:((((blue hair)))) 。
各种权重类语法公式明细:
-
(PromptA:权重):用于提高或降低该提示词的权重比例,注:数值大于1提高,小于1降低
-
(PromptB):PromptB的权重为1.1=(PromptA:1.1)
-
{PromptC}: PromptC的权重为1.05=(PromptB:1.05)
-
((PromptE)=(PromptE:1.1*1.1)
-
{{PromptF}}=(PromptF:1.05*1.05)
-
[[PromptG]]=(PromptG:0.952*0.952)
4) Prompt语言
Stable Diffusion是英文训练的大模型,所以Prompt需要使用英文
5)找tag资源汇总
可参考LibLibAI和c站中优秀作品的提示词作为模板。其他tag搜集网站:
- AI Creator:https://ai-creator.net/arts
- NovelAI:https://spell.novelai.dev
- 魔咒百科词典:https://aitag.top
- AI咒术生成器:https://tag.redsex.cc/
- AI词汇加速器 AcceleratorI Prompt:
- 词图 PromptTool:https://www.prompttool.com/NovelAI
- 鳖哲法典:http://tomxlysplay.com.cn/#/
- Danbooru tag:Tag Groups Wiki | Danbooru (http://donmai.us)
三、实践:SD生图工具 - LibLibAI
介绍:LibLibAI是中国领先的AI绘画模型分享网站,提供高度还原原始Stable Diffusion模型的AI绘画功能,并相比其他平台提供更出色的控制能力。它拥有庞大的AI绘画模型库,为用户提供在线模型训练工具、免费图像生成和模型下载等功能,无需复杂的计算机配置或本地部署。
网址:LiblibAI·哩布哩布AI - 中国领先的AI创作平台
作品示例:prompt: (masterpiece:1.2),best quality,highres,extremely detailed CG,perfect lighting,8k wallpaper,girl,long blue hair,sea,
使用步骤:
1)选择模型:LibLibAI上有很多官方或其他用户发布的LoRA模型,可以在模型广场选择
注意:Lora模型是可以叠加的,因为每个lora模型会侧重不同风格,所以在特定情况下需要混合多个模型来生成质量高的图片,还可以调整每个lora的权重:
2)设置prompt
接下来我用三对prompt来演示如何正确使用prompt
Round1
- 正向提示:Solo, Facing,Central Composition, blue theme, white background,No Characters, 1Girl,Oriental dragon, Panda,Fireworks,sea,Flowers,Spring Festival, Starry Sky, high quality, film light effectWood engraving,
- 负向提示:EasyNegative,(((pubic))),((((pubic_hair)))),sketch,duplicate,ugly,huge eyes,text,logo,monochrome,worst face,(bad and mutated hands:1.3),(worst quality:2),(low quality:2),(blur: 2), geometry,(bad hands),(missing, bs fingers),multiple limlimit, bad anatomy,(interlocked fingers:1.2),Ugly Fingers,(extra digits and hands and fingers and legs and arms:1.4),crown braid,((2girl)),(deformed fingers:1.2),(long fingers:1.2),succubus wings,horn,succubus shorn, two taps, succubus hairstyle,two bags, identical head,Bags under the eyes,
分析:未识别出Dragon主体, 在下一个Prompt中提升Dragon权重
Round2
- 正向提示:Solo, Facing,Central Composition, blue theme, white background,No Characters, 1Girl,(Oriental dragon:1.1),Panda,Fireworks,sea,(Flowers:1.2),Spring Festival, Starry Sky, high quality, film light effectWood engraving,
- 负向提示:EasyNegative,(((pubic))),((((pubic_hair)))),sketch,duplicate,ugly,huge eyes,text,logo,monochrome,worst face,(bad and mutated hands:1.3),(worst quality:2),(low quality:2),(blur: 2), geometry,(bad hands),(missing, bs fingers),multiple limlimit, bad anatomy,(interlocked fingers:1.2),Ugly Fingers,(extra digits and hands and fingers and legs and arms:1.4),crown braid,((2girl)),(deformed fingers:1.2),(long fingers:1.2),succubus wings,horn,succubus shorn, two taps, succubus hairstyle,two bags, identical head,Bags under the eyes,
结果:
分析:加大Dragon,Flower权重( 上方加粗部分),后出现龙,更多的花
Round3
- 正向提示:Solo, Facing,Central Composition, blue theme, white background,No Characters, 1Girl,(Oriental dragon:1.1),Panda,Fireworks,sea,(Flowers:1.2),Spring Festival, Starry Sky, high quality, film light effectWood engraving,
- 负向提示:
分析:去掉负向提示后,途中人物明显效果变差,整个画面质感也更模糊
**综上所述:**在基于Prompt生成图的过程中,正向提示做加法,负向提示也很重要,做减法。
3)设置参数
- 采样方法: 推荐使用DPM++ 2M,DPM++ 2M Karras,避免使用祖先采样器(名字中带有一个单独的a )
- 迭代步数:迭代步数的设置是一个权衡的过程,需要考虑生成图像的质量和推理时间之间的平衡。较少的迭代步数可能会导致图像质量较低,而较多的迭代步数可能会增加推理时间。
- 生成批次:当前这个prompt下需要生成的图片的批次
- 每批数量:每批次生成图片的数量,最后图片总数=生成批次*每批数量
- 随机种子(random seed):使用相同的随机种子,模型将按照相同的随机数序列生成图像,即在相同的提示和参数下,每次生成的图像都是确定性的,完全相同的,通过固定随机种子,可以再现之前生成的图像。
-
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】