ComfyUI」比 joy_caption 更好用的提示词反推模型

距离我们上次介绍 joy_caption 还没几天呢,这就又出新模型来与 joy_caption 一争高下了。

今天我们要介绍的是:Florence-2-X-PromptGen-v1.5,是在 Florence-2 的基础上进行精细调优的一款高级图像标注工具,专门为生成和标注提示词而训练。

相比 Florence-2,不仅提升了反推质量以及准确度,最重要的是继承了 Florence-2 的低显存和超快的推理速度。

最低只需要 1G 左右的显存就可以完成推理,性价比是相当高的。

接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 和 joy_caption 的反推效果吧!

好了,话不多说,我们直接开整。

在这里插入图片描述

Florence-2-X-PromptGen-v1.5 也和 Florence-2 一样有 base 版 和 large 版之分,也就是基础版和升级版,大小分别是 1G 和 3G,显存占用分别是 0.7G 和 1.8G 的样子。joy_caption 占用的显存大概是 7.7G 的样子。

接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 的 base 版、large 版 和 joy_caption 的反推效果吧。

左边是原图,右边是反推的提示词。

这里可以看到 base 没有识别出和服,还多了一枚戒指;large 这里精准的识别出了粉色的指甲,不过把耳环漏了,手的位置也不太对;joy 这里也有一些不太准确的地方,比如波浪型头发、项链、胸前敞开、握手等等。

在这里插入图片描述

来看下出图效果,总体来看的话,还是 large 要准确一些。

在这里插入图片描述

换个真实的风格试试。

在这里插入图片描述

总体来看的话,也还是 large 的出图效果更相似,不过头上的花漏了一朵。

在这里插入图片描述

来换个拟人的动物风格。

在这里插入图片描述

看上边的反推提示词,large 其实是识别出了是黑色三角帽,但是 flux.1 没画出来,joy 这里是把帽子给漏了。

在这里插入图片描述

来个抽象一点的,看提示词的话,large 总体上来说更准确一些。

在这里插入图片描述

从生成的图像来看,也还是 large 最符合原图的风格框架。

在这里插入图片描述

演示完毕,我们来看下这个模型具体如何使用,如果安装了 Comfyui_CXH_joy_caption 这个插件的小伙伴可以直接使用 base 版,现在 large 版还不支持,不过后续应该也会支持。

想要现在就用上 large 版本的小伙伴,或者 Comfyui_CXH_joy_caption 安装不上的小伙伴,可以安装这个插件:ComfyUI-Miaoshouai-Tagger,这个 Florence-2-X-PromptGen-v1.5 模型官方指定的插件。

以下分别是两个插件使用 Florence-2-X-PromptGen-v1.5 反推提示词的工作流,工作流和模型听雨也会放在文末的网盘里,需要的小伙伴自取。

在这里插入图片描述

从性比价上来说,large 是完胜 joy 的,毕竟显存占用不到 2G,推理速度也比 joy 快,而且准确率也不比 joy 低。

当然这个只是一家之言哈,小伙伴们还是可以多尝试一些场景,看看哪个更符合自己。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

  • 6
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值