Stable Diffusion入门攻略（附用ChatGPT优化Prompt方法）

程序员王饱饱

于 2024-09-27 09:45:00 发布

阅读量406

点赞数 8

分类专栏： AI绘画 Stable Diffuison应用教程文章标签： stable diffusion chatgpt prompt 人工智能 AI作画 AI绘画 AIGC

本文链接：https://blog.csdn.net/weixin_55154866/article/details/142469370

版权

AI绘画同时被 2 个专栏收录

228 篇文章 8 订阅

订阅专栏

Stable Diffuison应用教程

202 篇文章 2 订阅

订阅专栏

1 前言

AIGC大火后，文生图明星产品主要是Midjourney和Stable Diffusion（简称SD）。与Midjourney相比，SD最大的特点是免费、可本地部署，同时自定义程度高，但是较高的上手门槛使得入门存在一定难度。

笔者搜罗了网上一些优质的攻略，在本地成功部署了SD。同时，通过civital网站学习prompt词汇，利用ChatGPT进行提示词优化，最终输出了自己喜欢的图像。

以下是分享这个过程的详细步骤，供大家参考，希望能对你有所帮助。

2 准备条件

硬件：

8G 的显存
足够的硬盘空间（100G 基本够用了）

软件：

Python 3.10.x（网上很多文章都要你去安装 homebrew，好多小伙伴都卡在了这里。如果你安装不了，没关系，只要能安装好 Python3.10 就行）

科学上网的能力，这个不多说。

3 安装方式

鉴于网上关于安装SD的教程非常多，笔者在这就不在赘述这个环节，我会附上一些之前自己安装时借鉴过的教程，同时存在的一些坑，笔者也会列出来给大家参考。

参考资料：

1、MacOS：轻松安装Stable Diffusion WebUI | M1, M2, Intel | 完整指南和教程

2、【Mac M1】安装stable diffusion webui教程及问题集锦

4 SD WebUI框架熟悉

1、启动方式，在终端输入：

cd stable-diffusion-webui
./webui.sh

2、启动成功后，应该展现出来这个页面：

3、直接点击红框处网址或者复制到浏览器打开，出现如下页面即表示成功安装：

具体这些页面什么功能，可以参考这个教程（十分详细，干货满满）：【浅谈stable diffusion (三)-哔哩哔哩】 https://b23.tv/IeOcrON

5 模仿实现优秀效果

在安装好页面之后，开始做最简单的复现。可以在https://civitai.com/网站上选择一个优质的案例进行复现。这个过程可以帮助你对整个SD文生成流程有一个清晰的认识，同时也能让你找到一些自己写prompt词和参数配置的感觉。

复现方式可参考：

1、AI绘画第二步，模型切换和使用，抄作业复现超赞的效果！

2、M2 max使用stable-diffusion

6 下载合适的ckpt以及Lora模型

6.1 ckpt模型和Lora模型区别

1、CKPT（CheckPoint）经过训练的图片合集，被称作模型，也就是chekpoint，体积较大，一般真人版的单个模型的大小在7GB左右，动漫版的在2-5个G之间早期的CKPT后缀名是ckpt，如今新的CKPT后缀名都是safetensors

2、Lora是一种体积较小的绘画模型，是对大模型的微调。与每次作画只能选择一个大模型不同，lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。后缀也是safetensors

6.2 推荐的ckpt与Lora模型

ckpt推荐：

sd-v1-4：基础模型，一般最开始会下载这个
chilloutmix：综合起来最稳定，大多数时候可用这个
darkSushiMixMix：生成精致、色彩艳丽的动漫图像上表现较好
unstableinkdream：偏赛博朋克风格，机械、城市、霓虹等场景适配友好

Lora模型推荐：

各种doll和girl结尾的，生成美女图片的Lora模型：比如Koreandoll和Janpanesedoll等；
Moxin_10：水墨国风，非常值得一试；
ScifiProsthesisStyle：机械义体风格，非常炫酷，我本人最爱；

附C站上下线了的，生成美女图片效果很牛的Lora模型下载方式：korean doll likeness模型|Japanese-doll-likeness模型获取及使用

7 ChatGPT做Prompt词优化

如果进行了多次C站优秀效果的复现，那么你会对怎么写Prompt词有一定了解，笔者将这个部分分成了3个步骤。

7.1 了解Prompt语法及执行方式

Prompt的语法如下所示：

Prompt执行Tips：

开头与结尾的词往往作用性更强；
提示词数量越多，单个提示词的作用性越低；
开头的数个提示词的作用较强，有更强的相关；

7.2 掌握常见的Prompt与Negative Prompt

常见的Prompt词：

1、表达清晰度：(8k, RAW photo, best quality, masterpiece:1.2)
2、表达写实和照片感比例：(realistic, photo-realistic:1.37)
3、Lora模型引用方式：lora:koreanDollLikeness_v10:0.5
4、表达美丽和照片细节丰富：an extremely delicate and beautiful, extremely detailed, ultra-detailed

常见画人像的Negative Prompt：

EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, porcelain doll, glans, extra fingers, fewer fingers, strange fingers, bad hand, ((watermark:2)),((white letters:1)), teeth,(nsfw:1.2)

7.3 利用ChatGPT优化提示词

需要注意的是，ChatGPT没法直接帮你生成完全可用的Prompt词（SD官方那个不算的话，那个我没实验过效果，要订阅GPT会员有API才行），需要我们引导它做一些词语上的优化，至于词语间的摆放顺序、以及哪些可用哪些不可用，需要我们自己根据经验做调整。

下面是我用ChatGPT优化的过程：

1、让ChatGPT角色扮演：

2、向ChatGPT描述自己脑海里的意象

3、将ChatGPT生成的描述段落提炼成关键词

4、向ChatGPT提出风格化需求

5、提取出来的关键词输入专业的prompt优化网站

PromptPerfect地址：promptperfect网站

6、将优化的prompt输入ChatGPT，提取出需要的拓展关键词

7、最终得到自己需要的Prompt：

(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), lora:ScifiProsthesisStyle_epoch000006:0.4, 1 cyber-enhanced male warrior, clear face, short hair, futuristic, gray-haired, neural helmet, facing the camera, Intricate, Weathered, Nighttime , cinematic, (dynamic pose:1.5), defocus, backlight, (outside:1.4) , Metropolis, Rurouni Kenshin, augmented reality, Simon Stålenhag, Masamune Shirow, artistic complexity.

8、最终生成效果