距离我们上次介绍 joy_caption 还没几天呢,这就又出新模型来与 joy_caption 一争高下了。
今天我们要介绍的是:Florence-2-X-PromptGen-v1.5,是在 Florence-2 的基础上进行精细调优的一款高级图像标注工具,专门为生成和标注提示词而训练。
相比 Florence-2,不仅提升了反推质量以及准确度,最重要的是继承了 Florence-2 的低显存和超快的推理速度。
最低只需要 1G 左右的显存就可以完成推理,性价比是相当高的。
接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 和 joy_caption 的反推效果吧!
好了,话不多说,我们直接开整。
Florence-2-X-PromptGen-v1.5 也和 Florence-2 一样有 base 版 和 large 版之分,也就是基础版和升级版,大小分别是 1G 和 3G,显存占用分别是 0.7G 和 1.8G 的样子。joy_caption 占用的显存大概是 7.7G 的样子。
接下来,我们就来对比下 Florence-2-X-PromptGen-v1.5 的 base 版、large 版 和 joy_caption 的反推效果吧。
左边是原图,右边是反推的提示词。
这里可以看到 base 没有识别出和服,还多了一枚戒指;large 这里精准的识别出了粉色的指甲,不过把耳环漏了,手的位置也不太对;joy 这里也有一些不太准确的地方,比如波浪型头发、项链、胸前敞开、握手等等。
来看下出图效果,总体来看的话,还是 large 要准确一些。
换个真实的风格试试。
总体来看的话,也还是 large 的出图效果更相似,不过头上的花漏了一朵。
来换个拟人的动物风格。
看上边的反推提示词,large 其实是识别出了是黑色三角帽,但是 flux.1 没画出来,joy 这里是把帽子给漏了。
来个抽象一点的,看提示词的话,large 总体上来说更准确一些。
从生成的图像来看,也还是 large 最符合原图的风格框架。
演示完毕,我们来看下这个模型具体如何使用,如果安装了 Comfyui_CXH_joy_caption 这个插件的小伙伴可以直接使用 base 版,现在 large 版还不支持,不过后续应该也会支持。
想要现在就用上 large 版本的小伙伴,或者 Comfyui_CXH_joy_caption 安装不上的小伙伴,可以安装这个插件:ComfyUI-Miaoshouai-Tagger,这个 Florence-2-X-PromptGen-v1.5 模型官方指定的插件。
以下分别是两个插件使用 Florence-2-X-PromptGen-v1.5 反推提示词的工作流,工作流和模型听雨也会放在文末的网盘里,需要的小伙伴自取。
从性比价上来说,large 是完胜 joy 的,毕竟显存占用不到 2G,推理速度也比 joy 快,而且准确率也不比 joy 低。
当然这个只是一家之言哈,小伙伴们还是可以多尝试一些场景,看看哪个更符合自己。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。