最强图像反推Joy_Caption结合ComfyUI Flux GGUF的使用

前言

前言

对于图像的提示词反推，大家不都陌生，最开始使用的WD14反推，到我之前写的文章 [Flux超强图像提示词伴侣MiniCPM-V 2.6（超强）| ComfyUI中Flux实现无IPA三图创意融合]

反推的效果都在增强，今天再给大家推荐一款，号称最强提示词反推工具：Joy Caption，在ComfyUI中的安装，以及结合最强 Flux 大模型，来进行图生图。

当然如果你指向进行测试，Joy Caption 也有在线的体验

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

Joy Caption 安装

插件地址：

https://github.com/StartHua/Comfyui_CXH_joy_caption   

插件安装：

打开ComfyUI，在manager中，节点管理，搜索：joy caption 如下图，然后点击安装，安装完后，重启ComfyUI。

Joy Caption 所需模型下载

• https://huggingface.co/google/siglip-so400m-patch14-384 大小：3.5G，放到：ComfyUI/models/clip/siglip-so400m-patch14-384 目录下，如下图：

  

  所需的文件较多，建议用Huggingface客户端下载，对于ComfyUI来说，一般都会被安装上huggingface-cli 命令，可以用everything搜索一下：

  只需要把上图箭头的路径：D:\SD\ComfyUI-aki-v1.3\python\Scripts 加入到系统的Path环境变量下，就可以直接调用了。命令行参考：

  cd D:\SD\ComfyUI-aki-v1.3\models\clip   huggingface-cli download google/siglip-so400m-patch14-384 --local-dir ./siglip-so400m-patch14-384   
  

• https://huggingface.co/unsloth/Meta-Llama-3.1-8B-bnb-4bit 大小：5.7G，放到：ComfyUI/models/LLM/Meta-Llama-3.1-8B-bnb-4bit

  Huggingface客户端下载

  cd D:\SD\ComfyUI-aki-v1.3\models\LLM   huggingface-cli download unsloth/Meta-Llama-3.1-8B-bnb-4bit --local-dir ./Meta-Llama-3.1-8B-bnb-4bit   
  

• https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6 大小：86M，放到：ComfyUI/models/Joy_caption 目录下：

  

注意

❝

以上需要魔法，如果没有魔法请用Huggingface代理

cmd:

set HF_ENDPOINT=https://hf-mirror.com 然后执行 huggingface-cli download 命令

Joy Caption 反推工作流

工作流

参考图

输出提示词

. This is a whimsical digital drawing featuring a cartoonish donkey sitting on a wooden chair in an office setting. The donkey has large, expressive eyes with dark pupils, and its ears are perked up, giving it a curious or surprised expression. The donkey’s fur is depicted as soft and fluffy, with a mix of gray and white colors, and its nose is a prominent, large, and pinkish hue. The donkey’s mouth is open as if it is yawning, with its tongue slightly visible. Its mane is disheveled, adding to its comical appearance.

In the background, there is a desk with a computer monitor, a keyboard, and a mouse. The monitor is turned on, with a light blue screen. There are scattered papers and a pencil on the desk, adding to the office ambiance. The chair the donkey is sitting on is simple and wooden, with a light brown color. The background is minimalistic, consisting of a plain white wall with a few dark gray doodles or scribbles, suggesting a playful or creative atmosphere. The drawing style is loose and sketchy, with soft shading and textures that enhance the cartoonish charm of the scene.

对应中文

这是一幅异想天开的数字绘画，画的是办公室里一头坐在木椅上的卡通驴。驴子有一双大而富有表现力的眼睛，瞳孔是黑色的，耳朵竖起来，给人一种好奇或惊讶的表情。驴子的皮毛被描绘得柔软蓬松，混合着灰色和白色，鼻子是突出的、大的、粉红色的。驴子的嘴巴张开，好像在打哈欠，舌头隐约可见。它的鬃毛凌乱，更显滑稽。

背景是一张桌子，上面有一台电脑显示器、一个键盘和一只鼠标。显示器已打开，屏幕是浅蓝色的。桌子上散落着纸张和一支铅笔，增添了办公室的氛围。驴子坐的椅子简单而木质，颜色是浅棕色。背景是极简主义的，由一面纯白色的墙壁和一些深灰色的涂鸦或潦草的文字组成，暗示着一种好玩或有创意的氛围。绘画风格松散、粗略，柔和的阴影和纹理增强了场景的卡通魅力。

对比Joy Caption的在线的体验地址

https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha   

This is a digital drawing in a cartoon style, depicting a sad-looking donkey sitting on the floor. The donkey has a large, round face with a pink nose and closed eyes, giving it a melancholic expression. Its fur is grey with a fluffy texture, and its ears are large and upright, with the inner parts a darker shade of brown. The donkey’s fur is slightly messy, with some strands sticking up.

In the background, there is a wooden chair with a simple design, leaning against a wall. On the right side of the image, there is a modern desk with a white computer monitor and a keyboard. The desk is cluttered with various objects, including a pen, a small pink eraser, and a few pink and orange colored pencils scattered around. The floor is a simple, plain white, and the walls are also white, keeping the focus on the donkey. The overall mood of the image is one of sadness and isolation, with the donkey’s drooping posture and the sparse surroundings contributing to this feeling.

这是一幅漫画风格的数码画，描绘了一头神情悲伤的驴坐在地板上。这头驴有一张又大又圆的脸，粉红色的鼻子和闭着的眼睛，给它一种忧郁的表情。它的皮毛是灰色的，蓬松的质地，它的耳朵大而直立，内部是深褐色。驴子的毛有点乱，有几缕竖起来。

在背景中，有一把设计简单的木椅，靠在墙上。在图像的右侧，有一张带有白色电脑显示器和键盘的现代办公桌。桌子上堆满了各种各样的东西，包括一支钢笔，一块粉红色的小橡皮，还有一些粉红色和橙色的铅笔，散落在周围。地板是简单的纯白色，墙壁也是白色的，把注意力集中在驴身上。这幅画的整体情绪是悲伤和孤立的，驴子耷拉着的姿势和稀疏的环境助长了这种感觉。

❝

感觉和在线版相差不大，可以本地集合Flux，以及其他任意大模型来使用。

Joy Captain 结合 Flux GGUF的使用

工作流

输入图

输出图

错误解决参考

解决方式

打开命令提示符，如下图：

输入命令：

python -m pip install transformers==4.43.3   

即可解决。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南
• 环境配置
• 脚本更新
• 后记
• …

二、ComfyUI基础入门

• 软件安装篇
• 插件安装篇
• …

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
• Stable diffusion 工作原理
• 工作流底层逻辑
• 必备插件补全
• …

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解
• 提词技巧精通
• 多模型节点串联
• …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
• 姿势
• …

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型
• SDXL风格化提示词
• SDXL工作流搭建
• …

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取