通过Regional Prompter(区域提示词)控制图片精准生成

你是否遇到过想在一张图片的左上角绘制一个太阳,右上角绘制一些云朵,在下方在绘制其他的…,常规方式通过提示词,我们会发现图像大多情况不受我们控制,不会一定按我们的方式去绘制成功。

今天给大家介绍一个插件,可通过设置提示词就能精准实现按区域绘图,就可以实现上面说的按我们自己的方式精准控制去绘图。

Regional Prompter

插件:Regional Prompter
地址:https://github.com/hako-mikan/sd-webui-regional-prompter

注意:该插件是针对Stable Diffusion Web UI的。

插件的安装这里就不过多介绍了,可以参考之前的文章————Stable Diffusion Web UI基础插件推荐

下面我们通过一个简单的例子来说明 Regional Prompter 插件的用法。为演示效果,我们先用非常简单的提示词试试。

假设你想在同一张图片中生成一个男人和一个女人。我们使用简单的提示:

a man and a woman

负提示词如下:

disfigured, ugly

其他我们都使用默认参数。

然后我们获得如下图片:

1-1

1-2

看起来都没啥问题。但是如果你想更具体一点呢?比如生成一个黑头发的男人和一个金发女人?当然,我们可以在提示中写出来。

a man with black hair, a woman with blonde hair

你有时会得到你所描述的,但也有时候,Stable Diffusion 会混淆哪种头发颜色应该与谁搭配。如果你想进一步指定衣服的颜色等,情况将更加困难。

1-3

那么,这到底是咋回事呢?为什么这么简单的事情,Stable Diffusion 都做不到呢?这是因为 self-attention 机制将头发颜色和人物错误关联了。

此问题有一个解决方案:将黑发男子的提示词仅指定到图像左侧,而金发女郎的提示词则指定到图像右侧。

这个时候我们就可以使用Regional Prompter插件了。

1、在文生图(txt2img) 标签页中展开 Regional Prompter。

2、选中 Active 来激活分区域的提示器。

1-4

3、其他的保持默认设置,基本当前的示例足够了。在检查下面的设置:

  • Main Splitting: Columns(按列分割)
  • Divide Ratio: 1, 1
  • Width and Height: 这个必须和文生图(txt2img)匹配

4、点击visualize and make template按钮,我们能看到图片被分为两个区域:区域0在左侧,区域1在右侧。同时它们按1比1比例平均分割。

1-5

5、更新为如下提示词

a man and a woman, a man with black hair
BREAK
a man and a woman, a woman with blonde hair

BREAK关键字分隔了提示词。上面我们有两个提示。第一个提示将应用于区域0。第二个提示将应用于区域1。

负提示词:

disfigured, deformed, ugly

在负提示词中没有BREAK,所以这个提示词将作用到所有区域(即上面的两个区域都会生效)。

点击生成,我们得到如下效果图:

1-6

Stable Diffusion 会在区域 0 (左侧)生成一名黑发男子,在区域 1(右侧)生成一名金发女子。

请注意,这并非 100% 有效。根据我的经验,只有 75% 的成功率。但依然比完全靠运气要好得多。

通用提示词(Common prompt)

你可能已经注意到这两个提示有一个共同的部分“一个男人和一个女人”。

a man and a woman, a man with black hair
BREAK
a man and a woman, a woman with blonde hair

为什么需要通用提示?如果没有通用提示,Stable Diffusion只会生成一个人:

a man with black hair
BREAK
a woman with blonde hair

1-7

为什么?左右区域的提示都描述了一个人。所以你得到…一个人!你需要告诉 Stable Diffusion 这是一张两

<think>嗯,用户想了解Stable Diffusion文生图的技巧。我需要先回忆一下相关的知识,确保信息准确。首先,Stable Diffusion是一种基于深度学习的文本到图像生成模型,对吧?它通过扩散过程逐步去噪生成图像。用户可能已经知道基本概念,但需要具体的技巧来提升生成效果。 接下来,得考虑用户的使用场景。可能是设计师、艺术家,或者普通用户想生成高质量图片。他们可能遇到问题,比如生成图片不符合预期,细节不够,或者风格不统一。需要针对这些常见问题提供解决方法。 用户的需求是技巧,所以应该分步骤,结构清晰。可能需要包括提示词优化、参数调整、模型选择等方面。还要注意使用中文,避免专业术语过多,必要时解释术语。 第一个技巧可能是提示词设计,详细和具体的关键词。比如使用逗号分隔,组合不同元素。还有负面提示词的应用,排除不需要的内容。这部分很重要,因为提示词直接影响生成结果。 第二个可能是参数调整,比如采样步骤、CFG值、种子数。需要解释每个参数的作用和调整建议。比如CFG值过高可能导致过饱和,过低则偏离文本描述。 第三是模型和LoRA的使用,不同的预训练模型影响风格,LoRA可以微调特定特征。用户可能不知道这些资源,需要举例说明,比如现实风格或动漫风格的模型。 第四是迭代优化,可能需要多次生成,调整提示词和参数,或者使用后期处理工具。用户可能希望一次成功,但实际需要多次尝试。 第五是控制生成细节,使用附加控制网络,如边缘检测或深度图。这部分可能对高级用户更有用,但简单提及可以帮他们了解可能性。 最后,注意事项,比如版权和计算资源。用户可能忽略这些,需要提醒。 需要检查结构是否清晰,分点列出,每个技巧有解释和例子。使用Markdown格式,但用户要求避免使用,所以用文字描述。确保LaTeX公式正确,但问题中可能不需要数学公式,不过系统指令里提到,如果有变量或方程的话要处理,但这里可能不涉及,所以可能不需要。 还要注意使用中文,保持口语化,避免生硬。可能需要举例说明,比如提示词组合,负面词的应用,参数设置的具体数值建议。 总结下来,组织成几个主要部分,每个部分有子点,逐步引导用户优化生成结果。确保信息准确,比如CFG值的范围,采样步骤的影响,这些都是关键点。最后提醒伦理和法律问题,确保回答全面可靠。</think>以下为Stable Diffusion文生图的进阶技巧总结,采用分步式框架帮助您提升生成效果: 一、**提示词工程(Prompt Engineering)** 1. **关键词组合术** - 采用「主体+环境+风格+细节+画质」结构,例如: ```宇航员(主体) 站在发光水晶森林中(环境) 赛博朋克插画风格(风格) 8k细节(细节) Unreal Engine渲染(画质)``` - 使用权重符号`(word:1.5)`调节重点,如`(银河:1.3)背景` 2. **负面提示词应用** ```text 低分辨率, 模糊, 畸形手指, 比例失调, 水印, 文字 ``` 可叠加艺术风格负面词,如`避免印象派笔触`等 二、**参数调优指南** 1. **采样器选择** - 写实类推荐:DDIM/DPM++ 2M Karras - 艺术类推荐:Euler a/Heun - 试验步数范围:20-50步(过低导致细节缺失,过高可能过拟合) 2. **CFG Scale调节** - 常规范围:7-12 - 高创意需求:5-7(增强模型自由度) - 精准控制:12-15(需配合高质量提示词) 三、**模型协同策略** 1. **基础模型选择** - 真实系:Realistic Vision/Protogen - 动漫系:Waifu Diffusion/Anything V5 - 实验性:SDXL 1.0(需更高显存) 2. **LoRA微调技巧** - 权重叠加公式:`<lora:filename:0.8>` - 组合使用多个LoRA时,总权重建议≤1.5 四、**控制网络进阶** 1. **深度图控制** ```text 通过Depth-to-Image模块实现: 1. 输入草图或3D场景 2. 设置深度阈值0.3-0.7 3. 与提示词联合调节空间层次 ``` 2. **色彩约束** - 使用调色板插件限定主色 - HEX代码控制:`#FF5733作为主色调` 五、**迭代优化流程** 1. 首轮生成使用512x512分辨率测试构图 2. 通过img2img进行局部重绘(遮罩笔刷调节) 3. 最终输出采用Hires.fix提升至1024x1024+ - 推荐超分模型:SwinIR/ESRGAN 六、**特殊场景处理** 1. **人物生成要点** - 添加`完美解剖结构`类提示词 - 使用ADetailer插件自动修复面部 2. **多主体控制** ```text 采用组合语法: [猫|狗]在草地上,使用BREAK分隔 配合Regional Prompter分区控制 ``` 注意事项: - 显存不足时启用`--medvram`参数 - 批量生成建议使用X/Y/Z图表对比参数 - 商业用途需确认模型授权协议 通过上述技巧的组合运用,可显著提升图像质量与控制精度。建议从基础参数开始逐步实验,建立个人工作流模板。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值