ComfyUI里的#Textual Inversion Embeddings

d0a7d4ddce855838e3e739f9bfa8c8d2.png

图引自论文 An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

Textual Inversion Embeddings

文本反转,英文是Textual Inversion,来源于论文《An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion》

https://arxiv.org/pdf/2208.01618.pdf

该论文提出了文本反转的方法,通过仅使用 3-5 张图像来学习,让扩散模型冻结嵌入空间中的“新单词”。

在ComfyUI里文本反转称为Textual Inversion Embeddings,我们常说的Embeddings指的就是通过文本反转训练而成的模型,模型放置在models/embeddings下,在ComfyUI里可以通过以下语法使用 Embeddings 里的模型 :

embedding:SDA768.pt

embedding:SDA768

和文本提示一样,可以给提示调整权重:

(embedding:SDA768:1.2)

插件comfyui-mixlab-nodes实现了一个自定义节点:EmbeddingPrompt,通过选项直接选择embeddings目录下的模型,同时支持滑动条调整权重后作为文本提示输出。

5800df5468ff3e5348fab47096022b5d.png

插件地址:https://github.com/shadowcz007/comfyui-mixlab-nodes

文本反转常用的模型有调色板、反向提示、风格类等等。介绍一种颜色调色板的Embeddings:color-palettes。通过搭建一个工作流,实现快速对比不同的颜色Embeddings的差异。

bb59ce3af85d3bfa4b3315c3ccf197d2.png

d7802970dcd1cc790ed98241646b14f5.png

其中反向提示,英文常称为Negative embed,可以使用嵌入模型代替一长串的文本提示,提高日常创作效率。

例子:

使用Negative embed:negative-embed-Beyondv4-neg.pt

代替以下文本:

(((NSFW))), (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)),

((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21),

(mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21),

(bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331),

(fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331),

lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

__

本文涉及到的工作流已更新到知识星球

5bd5b74dfd3fd2b99f4336bdcdec9e70.png

  • 8
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值