Stable Diffusion入门攻略(附用ChatGPT优化Prompt方法)

1 前言

AIGC大火后,文生图明星产品主要是Midjourney和Stable Diffusion(简称SD)。与Midjourney相比,SD最大的特点是免费、可本地部署,同时自定义程度高,但是较高的上手门槛使得入门存在一定难度。

笔者搜罗了网上一些优质的攻略,在本地成功部署了SD。同时,通过civital网站学习prompt词汇,利用ChatGPT进行提示词优化,最终输出了自己喜欢的图像。

以下是分享这个过程的详细步骤,供大家参考,希望能对你有所帮助。

2 准备条件

硬件:

  • 8G 的显存

  • 足够的硬盘空间(100G 基本够用了)

软件:

  • Python 3.10.x(网上很多文章都要你去安装 homebrew,好多小伙伴都卡在了这里。如果你安装不了,没关系,只要能安装好 Python3.10 就行)

科学上网的能力,这个不多说。

3 安装方式

鉴于网上关于安装SD的教程非常多,笔者在这就不在赘述这个环节,我会附上一些之前自己安装时借鉴过的教程,同时存在的一些坑,笔者也会列出来给大家参考。

参考资料:

1、MacOS:轻松安装Stable Diffusion WebUI | M1, M2, Intel | 完整指南和教程 :https://updayday.notion.site/MacOS-Stable-Diffusion-WebUI-M1-M2-Intel-61a0fd82ea0e451d9ead16beafc3a28b

2、【Mac M1】安装stable diffusion webui教程及问题集锦:https://aitechtogether.com/python/84774.html

4 SD WebUI框架熟悉

1、启动方式,在终端输入:

cd stable-diffusion-webui``./webui.sh

2、启动成功后,应该展现出来这个页面:

3、直接点击红框处网址或者复制到浏览器打开,出现如下页面即表示成功安装:

具体这些页面什么功能,可以参考这个教程(十分详细,干货满满):【浅谈stable diffusion (三)-哔哩哔哩】 https://b23.tv/IeOcrON

5 模仿实现优秀效果

在安装好页面之后,开始做最简单的复现。可以在https://civitai.com/网站上选择一个优质的案例进行复现。这个过程可以帮助你对整个SD文生成流程有一个清晰的认识,同时也能让你找到一些自己写prompt词和参数配置的感觉。

复现方式可参考:

1、AI绘画第二步,模型切换和使用,抄作业复现超赞的效果!:https://www.tonyisstark.com/869.html

2、M2 max使用stable-diffusion:https://xhhdd.cc/index.php/archives/204/

6 下载合适的ckpt以及Lora模型

6.1 ckpt模型和Lora模型区别

1、CKPT(CheckPoint)经过训练的图片合集,被称作模型,也就是chekpoint,体积较大,一般真人版的单个模型的大小在7GB左右,动漫版的在2-5个G之间早期的CKPT后缀名是ckpt,如今新的CKPT后缀名都是safetensors

2、Lora是一种体积较小的绘画模型,是对大模型的微调。与每次作画只能选择一个大模型不同,lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。后缀也是safetensors

6.2 推荐的ckpt与Lora模型

ckpt推荐:

  • sd-v1-4:基础模型,一般最开始会下载这个

  • chilloutmix:综合起来最稳定,大多数时候可用这个

  • darkSushiMixMix:生成精致、色彩艳丽的动漫图像上表现较好

  • unstableinkdream:偏赛博朋克风格,机械、城市、霓虹等场景适配友好

Lora模型推荐:

  • 各种doll和girl结尾的,生成美女图片的Lora模型:比如Koreandoll和Janpanesedoll等;

  • Moxin_10:水墨国风,非常值得一试;

  • ScifiProsthesisStyle:机械义体风格,非常炫酷,我本人最爱;

附C站上下线了的,生成美女图片效果很牛的Lora模型下载方式:https://longbig.github.io/2023/03/01/korean-doll-likeness模型-Japanese-doll-likeness模型获取及使用/#lg=1&slide=3

7 ChatGPT做Prompt词优化

如果进行了多次C站优秀效果的复现,那么你会对怎么写Prompt词有一定了解,笔者将这个部分分成了3个步骤。

7.1 了解Prompt语法及执行方式

Prompt的语法如下所示:

Prompt执行Tips:

  • 开头与结尾的词往往作用性更强

  • 提示词数量越多,单个提示词的作用性越低;

  • 开头的数个提示词的作用较强,有更强的相关

7.2 掌握常见的Prompt与Negative Prompt

常见的Prompt词:

1、表达清晰度:(8k, RAW photo, best quality, masterpiece:1.2)``2、表达写实和照片感比例:(realistic, photo-realistic:1.37)``3、Lora模型引用方式:` `4、表达美丽和照片细节丰富:an extremely delicate and beautiful, extremely detailed, ultra-detailed

常见画人像的Negative Prompt:

EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, porcelain doll, glans, extra fingers, fewer fingers, strange fingers, bad hand, ((watermark:2)),((white letters:1)), teeth,(nsfw:1.2)

7.3 利用ChatGPT优化提示词

需要注意的是,ChatGPT没法直接帮你生成完全可用的Prompt词(SD官方那个不算的话,那个我没实验过效果,要订阅GPT会员有API才行),需要我们引导它做一些词语上的优化,至于词语间的摆放顺序、以及哪些可用哪些不可用,需要我们自己根据经验做调整。

下面是我用ChatGPT优化的过程:

1、让ChatGPT角色扮演:

2、向ChatGPT描述自己脑海里的意象

3、将ChatGPT生成的描述段落提炼成关键词

4、向ChatGPT提出风格化需求

5、提取出来的关键词输入专业的prompt优化网站

PromptPerfect地址:https://promptperfect.jinaai.cn

6、将优化的prompt输入ChatGPT,提取出需要的拓展关键词

7、最终得到自己需要的Prompt

(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), lora:ScifiProsthesisStyle_epoch000006:0.4, 1 cyber-enhanced male warrior, clear face, short hair, futuristic, gray-haired, neural helmet, facing the camera, Intricate, Weathered, Nighttime , cinematic, (dynamic pose:1.5), defocus, backlight, (outside:1.4) , Metropolis, Rurouni Kenshin, augmented reality, Simon Stålenhag, Masamune Shirow, artistic complexity.

8、最终生成效果

8 终章

这篇文章仅介绍了SD的一些基础入门使用方式。选择采样器(推荐一般使用DPM++ 2M),选择高分辨率修复中的高清晰度算法(基本上使用Latent nearest就可以了)等,都需要一定的技巧。

另外,还有自己制作风格化Lora模型、制作图像等功能,也等待玩家们的探索。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
  • 27
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值