距离我们上次介绍 joy_caption 还没几天呢,这就又出新模型来与 joy_caption 一争高下了。
今天我们要介绍的是: Florence-2-X-PromptGen-v1.5,是在 Florence-2 的基础上进行精细调优的一款高级图像标注工具,专门为生成和标注提示词而训练。
相比 Florence-2,不仅提升了反推质量以及准确度,最重要的是继承了 Florence-2 的低显存和超快的推理速度。
最低只需要 1G 左右的显存就可以完成推理,性价比是相当高的。
接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 和 joy_caption 的反推效果吧!
好了,话不多说,我们直接开整。
Florence-2-X-PromptGen-v1.5 也和 Florence-2 一样有 base 版 和 large 版之分,也就是基础版和升级版,大小分别是 1G 和 3G,显存占用分别是 0.7G 和 1.8G 的样子。joy_caption 占用的显存大概是 7.7G 的样子。
接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 的 base 版、large 版 和 joy_caption 的反推效果吧。
左边是原图,右边是反推的提示词。
这里可以看到 base 没有识别出和服,还多了一枚戒指;large 这里精准的识别出了粉色的指甲,不过把耳环漏了,手的位置也不太对;joy 这里也有一些不太准确的地方,比如波浪型头发、项链、胸前敞开、握手等等。
来看下出图效果,总体来看的话,还是 large 要准确一些。
换个真实的风格试试。
总体来看的话,也还是 large 的出图效果更相似,不过头上的花漏了一朵。
来换个拟人的动物风格。
看上边的反推提示词,large 其实是识别出了是黑色三角帽,但是 flux.1 没画出来,joy 这里是把帽子给漏了。
来个抽象一点的,看提示词的话,large 总体上来说更准确一些。
从生成的图像来看,也还是 large 最符合原图的风格框架。
演示完毕,我们来看下这个模型具体如何使用,如果安装了 Comfyui_CXH_joy_caption 这个插件的小伙伴可以直接使用 base 版,现在 large 版还不支持,不过后续应该也会支持。
想要现在就用上 large 版本的小伙伴,或者 Comfyui_CXH_joy_caption 安装不上的小伙伴,可以安装这个插件:ComfyUI-Miaoshouai-Tagger,这个 Florence-2-X-PromptGen-v1.5 模型官方指定的插件。
以下分别是两个插件使用 Florence-2-X-PromptGen-v1.5 反推提示词的工作流,工作流和模型听雨也会放在文末的网盘里,需要的小伙伴自取。
从性比价上来说,large 是完胜 joy 的,毕竟显存占用不到 2G,推理速度也比 joy 快,而且准确率也不比 joy 低。
当然这个只是一家之言哈,小伙伴们还是可以多尝试一些场景,看看哪个更符合自己。
好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!
网盘链接:夸克网盘分享