提示词反推插件听雨之前也介绍过一些,但是只能说技术发展的太快了,各种优秀的模型以及插件层出不穷,很快就会有更优的选项出现。
而且现在随着 FLUX.1 的出圈,大家也更加关注可以辅助图片反推自然语言提示词的模型以及插件。
今天我们就来分享一款就目前来说,用过的小伙伴都一致好评的图片反推提示词插件:Comfyui_CXH_joy_caption,而且这款插件现在支持三种提示词反推方式,除了最开始的 joy_caption 以外,现在同样支持很火的 MiniCPMv2_6-prompt-generator 和 florence2 模型。
好了,具体效果如何,我们直接开整。
插件的安装方式并不复杂,我们放到后边再说,先来看效果。
既然插件支持三种反推提示词的方式,那我们就顺便来对比下优劣吧!
下边左边是原图,右边是分别是 MiniCPMv2_6、joy_caption、florence2 三种模型方式反推出来的提示词,不知道小伙伴们能不能看清哈。
joy_caption 是推理的最详细的,连人物的视角都进行了描述,还有头部的往左偏的细节,这里 florence2 的反推描述是最短的,但是原图基本的风格以及细节描述也是到位的。
我们再来看看这三段提示词通过 Flux.1 生图以后的效果。
最左边是原图,可以看到右边的三张图片的整个风格以及构图都是OK的,最主要的一些细节上比如短头发,白色衣服以及粉红色的眼镜这些也没问题。
但是最接近原图的构图还是 joy_caption,毕竟连人物头部的姿势都有描述,再加上 Flux.1 对自然语言的理解能力,这效果还原的还是相当不错滴。
换一个稍微复杂一些的图像,来个天使吧。
然后我们来看效果,虽然 florence2 的反推描述没有 MiniCPMv2_6 和 joy_caption 多,每次的描述都很精简,但是基本的元素也都没丢,这次感觉出图还是 florence2 最有感觉。
MiniCPMv2_6 和 joy_caption 都把白色尖头鞋给漏了,不过 joy_caption 把天使周边的白色羽毛识别出来了。
再换一个真人场景来感受一下。
从反推提示词上来说,依旧是 joy_caption 的准确性最高,亚洲女性都识别出来了。
从提示词以及出图效果上来看,这里 joy_caption 的还原度最高。
接下来我们再来点复杂的图像,这个图像前三个球还比较好识别,第四个球有点抽象,本来的提示词是地水火风。
这次 florence2 只识别出来三个球,MiniCPMv2_6 和 joy_caption 的表现都不错,都识别到了玻璃球中是自然元素。
只不过最后一个球的确是有些抽象,MiniCPMv2_6 识别成了烟雾,joy_caption 识别成了空气,不过也的确风这个元素不太好识别,florence2 直接摆烂了都。
不过总体效果上来说已经很不错了。
插件的安装也不复杂,直接在 ComfyUI 管理器中搜索:Comfyui_CXH_joy_caption,安装就可以了。
主要是需要下载的模型有点多,模型放在指定位置以后重启 ComfyUI 就可以了,模型和工作流都放在文末的网盘里了,需要的小伙伴自取。
工作流也是蛮简单的,这里是三种方式的反推工作流。
总体测试下来看的话,还是 joy_caption 的反推效果最佳,不过听雨测试的场景也不多,可能他们都有自己擅长的某种场景,小伙伴们还是可以多试试。
不过 florence2 的显存占用是最少的,只需要 0.1G,推理速度也是最快的,而 MiniCPMv2_6 和 joy_caption 占用的显存就有些高了,都要 7 到 8G 左右。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取