「ComfyUI」目前为止最好用的提示词反推插件，FULX.1 图生图辅助神器！

于 2024-09-02 10:13:59 发布
阅读量381 收藏 3
点赞数 15
文章标签： stable diffusion 人工智能 AIGC AI作画 AI绘画 comfyui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z19981/article/details/141812765
版权

前言

提示词反推插件听雨之前也介绍过一些，但是只能说技术发展的太快了，各种优秀的模型以及插件层出不穷，很快就会有更优的选项出现。

而且现在随着 FLUX.1 的出圈，大家也更加关注可以辅助图片反推自然语言提示词的模型以及插件。

今天我们就来分享一款就目前来说，用过的小伙伴都一致好评的图片反推提示词插件：Comfyui_CXH_joy_caption，而且这款插件现在支持三种提示词反推方式，除了最开始的 joy_caption 以外，现在同样支持很火的 MiniCPMv2_6-prompt-generator 和 florence2 模型。

好了，具体效果如何，我们直接开整。

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~在这里插入图片描述

插件的安装方式并不复杂，我们放到后边再说，先来看效果。

既然插件支持三种反推提示词的方式，那我们就顺便来对比下优劣吧！

下边左边是原图，右边是分别是 MiniCPMv2_6、joy_caption、florence2 三种模型方式反推出来的提示词，不知道小伙伴们能不能看清哈。

joy_caption 是推理的最详细的，连人物的视角都进行了描述，还有头部的往左偏的细节，这里 florence2 的反推描述是最短的，但是原图基本的风格以及细节描述也是到位的。

我们再来看看这三段提示词通过 Flux.1 生图以后的效果。

最左边是原图，可以看到右边的三张图片的整个风格以及构图都是OK的，最主要的一些细节上比如短头发，白色衣服以及粉红色的眼镜这些也没问题。

但是最接近原图的构图还是 joy_caption，毕竟连人物头部的姿势都有描述，再加上 Flux.1 对自然语言的理解能力，这效果还原的还是相当不错滴。

换一个稍微复杂一些的图像，来个天使吧。

然后我们来看效果，虽然 florence2 的反推描述没有 MiniCPMv2_6 和 joy_caption 多，每次的描述都很精简，但是基本的元素也都没丢，这次感觉出图还是 florence2 最有感觉。

MiniCPMv2_6 和 joy_caption 都把白色尖头鞋给漏了，不过 joy_caption 把天使周边的白色羽毛识别出来了。

再换一个真人场景来感受一下。

从反推提示词上来说，依旧是 joy_caption 的准确性最高，亚洲女性都识别出来了。

从提示词以及出图效果上来看，这里 joy_caption 的还原度最高。

接下来我们再来点复杂的图像，这个图像前三个球还比较好识别，第四个球有点抽象，本来的提示词是地水火风。

这次 florence2 只识别出来三个球，MiniCPMv2_6 和 joy_caption 的表现都不错，都识别到了玻璃球中是自然元素。

只不过最后一个球的确是有些抽象，MiniCPMv2_6 识别成了烟雾，joy_caption 识别成了空气，不过也的确风这个元素不太好识别，florence2 直接摆烂了都。

不过总体效果上来说已经很不错了。

插件的安装也不复杂，直接在 ComfyUI 管理器中搜索：Comfyui_CXH_joy_caption，安装就可以了。

主要是需要下载的模型有点多，模型放在指定位置以后重启 ComfyUI 就可以了，模型和工作流都放在文末的网盘里了，需要的小伙伴自取。

工作流也是蛮简单的，这里是三种方式的反推工作流。

总体测试下来看的话，还是 joy_caption 的反推效果最佳，不过听雨测试的场景也不多，可能他们都有自己擅长的某种场景，小伙伴们还是可以多试试。

不过 florence2 的显存占用是最少的，只需要 0.1G，推理速度也是最快的，而 MiniCPMv2_6 和 joy_caption 占用的显存就有些高了，都要 7 到 8G 左右。

好了，今天的分享就到这里了，感兴趣的小伙伴快去试试吧！

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

img

AIGC-Lison
关注
  • 15
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C# danbooru Stable Diffusion 提示词反推 OpenVINO Demo.rar
04-17
C# danbooru Stable Diffusion 提示词反推 OpenVINO Demo 博客地址：https://lw112190.blog.csdn.net/article/details/137883569
C# danbooru Stable Diffusion 提示词反推 Onnx Demo 源码
03-13
C# danbooru Stable Diffusion 提示词反推 Onnx Demo 源码 博客地址：https://lw112190.blog.csdn.net/article/details/136677149
AI绘图 ComfyUI 相见恨晚的提示词插件，简直堪称神器！
A13531922962的博客
05-24 1616
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
ComfyUI中实现反推提示词的多种方案
u013224364的博客
04-26 4292
总结，你要是想把图片的风格（比如梵高风格、水彩风格、山水画风格）也反推出来的话，用clip询问机节点和Gemini节点是最好的，个人总结用Gemini节点最好，其次是clip询问机节点，其中wd节点没啥用，它只能识别出图片看得见的元素，它的效果最差的。整理AI学习资料库：https://pan.quark.cn/s/05ad7c581caa。往期学习资料：https://pan.quark.cn/s/7173cec616b6。第二种方案用clip询问机节点，如下。第一个方案，用wd节点，如下。
ComfyUI WD1.4图片提示词反推
软件QA只用在它工作礼貌吗？
08-01 644
下载好插件，放入custom_nodes文件夹 （文章末尾附下载地址）
喂图反推提示词，自动翻译补全，图生视频插件 | stable diffusion 拓展安装流程及应用
不定期分享ai绘画相关知识~
06-26 1216
如果是秋叶大佬的webui，在扩展中就可以看到已安装扩展：如果想添加新的拓展，在这里搜索下载即可亦或是从网址安装粘贴仓库链接，下载网址：https://github.com再要么直接把扩展文件打包好放到如下文件这里给大家整理了下我目前所有扩展，绝对可以满足大部分学习使用，后台私信回复：“sd扩展” 即可：在webui中检查更新每安装一个新扩展，设置中都可以相应调整配置。
ComfyUI反推提示词节点报错：Load model failed
聚梦小课堂
07-28 863
反推提示词的时候会提示报错： Error occurred when executing WD14Tagger|pysssss: [ONNXRuntimeError] : 3 : NO_SUCHFILE : Load model from F:\ComfyUI-aki\custom_nodes\ComfyUI-WD14-Tagger\models\wd-v1-4-convnext-tagger-v2.onnx failed:Load model F:\ComfyUI-aki\custom_nodes...
Stable Diffusion绘画 | 图生图-基础使用介绍—提示词反推
Leo-Fighting的博客
08-04 405
报错处理方式可参考：https://www.bilibili.com/read/cv34388293/点击「CLIP反推」，根据图片生成一段自然语言描述的提示句子，该方式反推速度较慢。因为重绘幅度=0.7，所出图片与原图有差异，但整体的框架构图与颜色与原图类似。第一次使用时，还需要额外下载计算模型，较大概率会报错。该反推方式生成的是一个个单独的提示词，反推速度较快。
属实又被惊讶到了！SD反推AI绘图提示词，再次刷新了认知
2401_85116933的博客
07-13 1140
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【Stable Diffusion】ComfyUI提示词预设插件（附插件）
A1353192296的博客
04-29 1631
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
stable diffusion实践操作-tagg插件-反推提示词
weixin_43360707的博客
09-04 7601
本章主要讲一个反推提示词的插件tagg.我们平时通过CLIP和DEEPBORU来反推提示词，但是这两个太慢，并且容易出错例如：以上就是今天要讲的内容。
C# SwinV2 Stable Diffusion 提示词反推 Onnx Demo 源码
03-06
C# SwinV2 Stable Diffusion 提示词反推 Onnx Demo 源码 博客地址：https://lw112190.blog.csdn.net/article/details/136511321
stable diffusion的安装
最新发布
studio_1的博客
08-31 581
最近对 stable diffusion 很感兴趣，就打算安装学习一下，下面是安装的过程。折腾了三个晚上，这里记录一下。如果电脑分多个用户，请务必在管理员用户中安装，还有就是保存网络通畅，能避免一些问题。
stable-diffusion-webui 部署 ，启用 api 服务
TuringEvo专栏
08-28 438
我这里是conda 环境 torchpgu ,python3.11.7 ,不是系统默认的 python3 命令。conda 环境torchpgu , python 是 3.11.7。官方推荐 python3.10 或者 python3.11。安装完成之后，首次运行自动下载模型权重，可以手动下载。我系统是 ubuntu22.04。
Stable Diffusion
weixin_47695827的博客
08-26 1096
Stable Diffusion是一种基于深度学习的文本到图像生成模型，其原理主要基于扩散模型（Diffusion Model）的变体，即潜在扩散模型（Latent Diffusion Model, LDM）。原理。
[Tools: LoRA] Diffusers中Stable Diffusion的实现
qq_40731332的博客
08-29 422
Diffusers中的Attention操作实现在AttnProcessor类（diffusers.models.attention_processor.py），里面定义了单次Attention操作。 添加LoRA，本质上是用LoRAAttnProcessor类替换AttnProcessor类。
关于人工智能（AI）的研究报告
weixin_44196785的博客
08-29 4110
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 2052
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
可以通过hashmap反推com.crealytics.spark.excel.WorkbookReader这个包名嘛
07-15
很抱歉，我之前理解错误。确实可以通过 HashMap 对象来反推 WorkbookReader 类的包名。 在 Java 中，类的完全限定名（包名 + 类名）可以通过对象的 getClass().getName() 方法获得。因此，您可以通过 HashMap 对象的 getClass().getName() 方法来获取 HashMap 类的完全限定名。然后，您可以从该完全限定名中提取出 WorkbookReader 所在的包名。 以下是一个示例代码： ```python from java.util import HashMap # 创建 HashMap 对象并添加键值对 hash_map = HashMap() hash_map.put("a", "1") # 获取 HashMap 的类名 hash_map_class_name = hash_map.getClass().getName() # 提取出 WorkbookReader 所在的包名 workbook_reader_package_name = hash_map_class_name.rsplit('.', 1)[0] print("HashMap 的类名: ", hash_map_class_name) print("WorkbookReader 的包名: ", workbook_reader_package_name) ``` 运行代码后，会打印出 HashMap 对象的类名和 WorkbookReader 所在的包名。 请注意，这种方法是基于假设 WorkbookReader 类与 HashMap 类在同一个包中的情况。如果 WorkbookReader 类不在相同的包中，那么无法通过 HashMap 对象直接反推出 WorkbookReader 的包名。在这种情况下，您需要查看代码或文档来确定正确的包名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值