使用ChatGPT生成Stable Diffusion prompt(提示词)

程序员小猴紫

于 2024-08-22 13:45:00 发布

阅读量1.6k

点赞数 48

分类专栏： StableDiffusion教程 AI绘画文章标签： chatgpt stable diffusion prompt 人工智能 AI作画 AI绘画

本文链接：https://blog.csdn.net/m0_74942241/article/details/141388512

版权

AI绘画同时被 2 个专栏收录

192 篇文章 6 订阅

订阅专栏

StableDiffusion教程

163 篇文章 1 订阅

订阅专栏

这个提示词让ChatGPT充当Stable Diffusion prompt 生成助理，你只要指定一个主题，ChatGPT即可生成符合Stable Diffusion格式要求的 prompt 和 negative prompt。

关于怎么写Stable Diffusion prompt，主要参考这个文档，内容比较多。根据我的多次尝试，写成 markdown 格式喂给 ChatGPT 效果是最好的。

把以下内容整个复制到chat gpt的对话框，把主题改为你想要生成的主题即可：

# Stable Diffusion prompt 助理

你来充当一位有艺术气息的Stable Diffusion prompt 助理。

##任务

我用自然语言告诉你要生成的prompt的主题，你的任务是根据这个主题想象一幅完整的画面，然后转化成一份详细的、高质量的prompt，让Stable Diffusion可以生成高质量的图像。

## 背景介绍

Stable Diffusion是一款利用深度学习的文生图模型，支持通过使用 prompt 来产生新的图像，描述要包含或省略的元素。

## prompt 概念

- 完整的prompt包含“**Prompt:**”和"**Negative Prompt:**"两部分。
- prompt 用来描述图像，由普通常见的单词构成，使用英文半角","做为分隔符。
- negative prompt用来描述你不想在生成的图像中出现的内容。
- 以","分隔的每个单词或词组称为 tag。所以prompt和negative prompt是由系列由","分隔的tag组成的。

## () 和 [] 语法

调整关键字强度的等效方法是使用 () 和 []。(keyword) 将tag的强度增加 1.1 倍，与 (keyword:1.1) 相同，最多可加三层。[keyword] 将强度降低 0.9 倍，与 (keyword:0.9) 相同。

## Prompt 格式要求

下面我将说明 prompt 的生成步骤，这里的 prompt 可用于描述人物、风景、物体或抽象数字艺术图画。你可以根据需要添加合理的、但不少于5处的画面细节。

### 1. prompt 要求

- 你输出的 Stable Diffusion prompt 以“**Prompt:**”开头。
- prompt 内容包含画面主体、材质、附加细节、图像质量、艺术风格、色彩色调、灯光等部分，但你输出的 prompt 不能分段，例如类似"medium:"这样的分段描述是不需要的，也不能包含":"和"."。
- 画面主体：不简短的英文描述画面主体, 如 A girl in a garden，主体细节概括（主体可以是人、事、物、景）画面核心内容。这部分根据我每次给你的主题来生成。你可以添加更多主题相关的合理的细节。
- 对于人物主题，你必须描述人物的眼睛、鼻子、嘴唇，例如'beautiful detailed eyes,beautiful detailed lips,extremely detailed eyes and face,longeyelashes'，以免Stable Diffusion随机生成变形的面部五官，这点非常重要。你还可以描述人物的外表、情绪、衣服、姿势、视角、动作、背景等。人物属性中，1girl表示一个女孩，2girls表示两个女孩。
- 材质：用来制作艺术品的材料。例如：插图、油画、3D 渲染和摄影。Medium 有很强的效果，因为一个关键字就可以极大地改变风格。
- 附加细节：画面场景细节，或人物细节，描述画面细节内容，让图像看起来更充实和合理。这部分是可选的，要注意画面的整体和谐，不能与主题冲突。
- 图像质量：这部分内容开头永远要加上“(best quality,4k,8k,highres,masterpiece:1.2),ultra-detailed,(realistic,photorealistic,photo-realistic:1.37)”， 这是高质量的标志。其它常用的提高质量的tag还有，你可以根据主题的需求添加：HDR,UHD,studio lighting,ultra-fine painting,sharp focus,physically-based rendering,extreme detail description,professional,vivid colors,bokeh。
- 艺术风格：这部分描述图像的风格。加入恰当的艺术风格，能提升生成的图像效果。常用的艺术风格例如：portraits,landscape,horror,anime,sci-fi,photography,concept artists等。
- 色彩色调：颜色，通过添加颜色来控制画面的整体颜色。
- 灯光：整体画面的光线效果。

### 2. negative prompt 要求
- negative prompt部分以"**Negative Prompt:**"开头，你想要避免出现在图像中的内容都可以添加到"**Negative Prompt:**"后面。
- 任何情况下，negative prompt都要包含这段内容："nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,((watermark)),(white letters)"
- 如果是人物相关的主题，你的输出需要另加一段人物相关的 negative prompt，内容为：“skin spots,acnes,skin blemishes,age spot,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body”。

### 3. 限制：
- tag 内容用英语单词或短语来描述，并不局限于我给你的单词。注意只能包含关键词或词组。
- 注意不要输出句子，不要有任何解释。
- tag数量限制40个以内，单词数量限制在60个以内。
- tag不要带引号("")。
- 使用英文半角","做分隔符。
- tag 按重要性从高到低的顺序排列。
- 我给你的主题可能是用中文描述，你给出的prompt和negative prompt只用英文。

我的第一个主题是：一个美丽的中国女孩

生成的Stable Diffusion prompt：

Prompt: Beautiful Chinese girl, detailed eyes and lips, long black hair, elegant posture, sitting on a traditional Chinese wooden bench in a peaceful garden. (best quality,4k,8k,highres,masterpiece:1.2), ultra-detailed, (realistic,photorealistic,photo-realistic:1.37), HDR, UHD, studio lighting, physically-based rendering, extreme detail description, professional, vivid colors, bokeh, portraits, traditional Chinese painting style, warm color temperature, soft natural light.

Negative Prompt: nsfw, (low quality,normal quality,worst quality,jpeg artifacts), cropped, monochrome, lowres, low saturation, watermark, white letters, skin spots, acnes, skin blemishes, age spot, mutated hands, mutated fingers, deformed, bad anatomy, disfigured, poorly drawn face, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, out of focus, long neck, long body, extra fingers, fewer fingers, multi nipples, bad hands, signature, username, bad feet, blurry, bad body.

转载：https://zhuanlan.zhihu.com/p/634833836

Stable Diffusion入门攻略（附用ChatGPT优化Prompt方法）

1 前言

AIGC大火后，文生图明星产品主要是Midjourney和Stable Diffusion（简称SD）。与Midjourney相比，SD最大的特点是免费、可本地部署，同时自定义程度高，但是较高的上手门槛使得入门存在一定难度。

笔者搜罗了网上一些优质的攻略，在本地成功部署了SD。同时，通过civital网站学习prompt词汇，利用ChatGPT进行提示词优化，最终输出了自己喜欢的图像。

以下是分享这个过程的详细步骤，供大家参考，希望能对你有所帮助。

2 准备条件

硬件：

8G 的显存
足够的硬盘空间（100G 基本够用了）

软件：

Python 3.10.x（网上很多文章都要你去安装 homebrew，好多小伙伴都卡在了这里。如果你安装不了，没关系，只要能安装好 Python3.10 就行）

科学上网的能力，这个不多说。

3 安装方式

鉴于网上关于安装SD的教程非常多，笔者在这就不在赘述这个环节，我会附上一些之前自己安装时借鉴过的教程，同时存在的一些坑，笔者也会列出来给大家参考。

参考资料：

1、MacOS：轻松安装Stable Diffusion WebUI | M1, M2, Intel | 完整指南和教程

2、【Mac M1】安装stable diffusion webui教程及问题集锦

4 SD WebUI框架熟悉

1、启动方式，在终端输入：

cd stable-diffusion-webui
./webui.sh

2、启动成功后，应该展现出来这个页面：

3、直接点击红框处网址或者复制到浏览器打开，出现如下页面即表示成功安装：

具体这些页面什么功能，可以参考这个教程（十分详细，干货满满）：【浅谈stable diffusion (三)-哔哩哔哩】 https://b23.tv/IeOcrON

5 模仿实现优秀效果

在安装好页面之后，开始做最简单的复现。可以在https://civitai.com/网站上选择一个优质的案例进行复现。这个过程可以帮助你对整个SD文生成流程有一个清晰的认识，同时也能让你找到一些自己写prompt词和参数配置的感觉。

复现方式可参考：

1、AI绘画第二步，模型切换和使用，抄作业复现超赞的效果！

2、M2 max使用stable-diffusion

6 下载合适的ckpt以及Lora模型

6.1 ckpt模型和Lora模型区别

1、CKPT（CheckPoint）经过训练的图片合集，被称作模型，也就是chekpoint，体积较大，一般真人版的单个模型的大小在7GB左右，动漫版的在2-5个G之间早期的CKPT后缀名是ckpt，如今新的CKPT后缀名都是safetensors

2、Lora是一种体积较小的绘画模型，是对大模型的微调。与每次作画只能选择一个大模型不同，lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。后缀也是safetensors

6.2 推荐的ckpt与Lora模型

ckpt推荐：

sd-v1-4：基础模型，一般最开始会下载这个
chilloutmix：综合起来最稳定，大多数时候可用这个
darkSushiMixMix：生成精致、色彩艳丽的动漫图像上表现较好
unstableinkdream：偏赛博朋克风格，机械、城市、霓虹等场景适配友好

Lora模型推荐：

各种doll和girl结尾的，生成美女图片的Lora模型：比如Koreandoll和Janpanesedoll等；
Moxin_10：水墨国风，非常值得一试；
ScifiProsthesisStyle：机械义体风格，非常炫酷，我本人最爱；

附C站上下线了的，生成美女图片效果很牛的Lora模型下载方式：korean doll likeness模型|Japanese-doll-likeness模型获取及使用

7 ChatGPT做Prompt词优化

如果进行了多次C站优秀效果的复现，那么你会对怎么写Prompt词有一定了解，笔者将这个部分分成了3个步骤。

7.1 了解Prompt语法及执行方式

Prompt的语法如下所示：

Prompt执行Tips：

开头与结尾的词往往作用性更强；
提示词数量越多，单个提示词的作用性越低；
开头的数个提示词的作用较强，有更强的相关；

7.2 掌握常见的Prompt与Negative Prompt

常见的Prompt词：

1、表达清晰度：(8k, RAW photo, best quality, masterpiece:1.2)
2、表达写实和照片感比例：(realistic, photo-realistic:1.37)
3、Lora模型引用方式：lora:koreanDollLikeness_v10:0.5
4、表达美丽和照片细节丰富：an extremely delicate and beautiful, extremely detailed, ultra-detailed

常见画人像的Negative Prompt：

EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, porcelain doll, glans, extra fingers, fewer fingers, strange fingers, bad hand, ((watermark:2)),((white letters:1)), teeth,(nsfw:1.2)

7.3 利用ChatGPT优化提示词

需要注意的是，ChatGPT没法直接帮你生成完全可用的Prompt词（SD官方那个不算的话，那个我没实验过效果，要订阅GPT会员有API才行），需要我们引导它做一些词语上的优化，至于词语间的摆放顺序、以及哪些可用哪些不可用，需要我们自己根据经验做调整。

下面是我用ChatGPT优化的过程：

1、让ChatGPT角色扮演：

2、向ChatGPT描述自己脑海里的意象

3、将ChatGPT生成的描述段落提炼成关键词

4、向ChatGPT提出风格化需求

5、提取出来的关键词输入专业的prompt优化网站

PromptPerfect地址：promptperfect网站

6、将优化的prompt输入ChatGPT，提取出需要的拓展关键词

7、最终得到自己需要的Prompt：

(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), lora:ScifiProsthesisStyle_epoch000006:0.4, 1 cyber-enhanced male warrior, clear face, short hair, futuristic, gray-haired, neural helmet, facing the camera, Intricate, Weathered, Nighttime , cinematic, (dynamic pose:1.5), defocus, backlight, (outside:1.4) , Metropolis, Rurouni Kenshin, augmented reality, Simon Stålenhag, Masamune Shirow, artistic complexity.

8、最终生成效果