EvilBT/ComfyUI_SLK_joy_caption_two 提示词反推扩展 在秋叶 ComfyUI 的本地部署文档

参考文档:

1.EvilBT/ComfyUI_SLK_joy_caption_two

https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two/issues/23

2.AI小王子Jay:【JoyCaption2】ComfyUI最新最强反推打标节点安装部署与玩法技巧详解

https://www.bilibili.com/video/BV1NNmKYDEeC

一、扩展安装

先把本地的基础硬件环境装好,例如显卡驱动、cuda、cudnn、环境变量等(参见我Face Fusion的部署文档),然后我们假设你秋叶Comfy UI的本地部署文件夹是(下同):

C:\_RUN\ComfyUI-aki-v1.4\

官方项目地址:

https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two

1.下载方法一(不推荐)

因网络管控原因,在秋叶包里直接安装大概率会失败,然后还要删掉重装。会魔法的小伙伴可以在

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\

文件夹地址栏敲入cmd回车,开启cmd窗口,并运行官方项目安装命令:

git clone https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two.git

进行项目安装。

2.下载方法二(推荐)

不会魔法的小伙伴可以用浏览器直接下载项目文件,在本地手动部署,项目文件下载直达链接:
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two/archive/refs/heads/main.zip

将下载完的ComfyUI_SLK_joy_caption_two-main.zip压缩包解压到

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\

并把文件夹:

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two-main

改名为:

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two


二、项目基础环境安装

由于秋叶Comfy UI使用离线虚拟环境部署,必须把项目支持安装到虚拟环境中,扩展才能正常运行。

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two\requirements.txt

文件复制到

C:\_RUN\ComfyUI-aki-v1.4\python\

文件夹,用记事本编辑文件内容,将:

huggingface_hub==0.23.4
transformers>=4.44.0
numpy==1.26.4
sentencepiece==0.2.0
pillow>=10.4.0
bitsandbytes>=0.44.1
peft>=0.12.0

替换为:

huggingface_hub==0.23.4
transformers==4.44.0
numpy==1.26.4
sentencepiece==0.2.0
pillow==10.4.0
bitsandbytes==0.44.1
peft==0.12.0

并在此文件夹地址栏敲入cmd回车,开启cmd窗口,运行安装命令:

python.exe -m pip install -U -r requirements.txt

等候项目支持安装完成。

控制台提示缺其他组件时,也参照此方法在这里安装,命令格式:

python.exe -m pip install 组件名 == 版本号


三、项目模型下载安装

1.CLIP模型

项目地址:
https://hf-mirror.com/google/siglip-so400m-patch14-384/tree/main

自动下载较慢,建议手动下载所有文件,全部复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\clip\siglip-so400m-patch14-384\

2.LLM模型

(1)unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit

项目地址(大多数人用这一个就够了):
https://hf-mirror.com/unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit/tree/main

手动下载所有文件,全部复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\llm\Meta-Llama-3.1-8B-Instruct-bnb-4bit\

(2)John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4

项目地址(未审查模型,按需下载,需要魔法):
https://huggingface.co/John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4/tree/main

手动下载所有文件,全部复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\llm\Llama-3.1-8B-Lexi-Uncensored-V2-nf4\

3. Joy-Caption-alpha-two 模型

项目地址(必须手动下载,需要魔法):
https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two/tree/main/cgrkzexw-599808

把所有文件和文件夹下载复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\Joy_caption_two\

4.节点中文语言包插件

项目地址:
https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation

不知为何线上找不到这个插件,大家可以把网盘里的:

\Joycaption2反推部署\翻译包放入-根目录-custom nodes-AIGodlike-zh-CN-Nodes文件夹内\Comfyui_SLK_joy_caption_two.json

文件复制到:

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\AIGODLIKE-ComfyUI-Translation\zh-CN\Nodes\


三、部分模型资源网盘链接(非本人提供,也不对内容负责)

https://pan.quark.cn/s/e152fdf05641
https://pan.baidu.com/s/1rPkv37Uqs9ZTqYvKHdJMDw?pwd=t17b

四、常见故障处理

1.部分语言模型报错

节点中会看到4个语言模型,其中Meta-Llama-3.1-8B-Instruct-bnb-4bit可以正常工作,其余三个如果未自行下载对应的LLM模型都会报错(网盘里的文件是坏的)。

2.提示没有accelerate

Using `low_cpu mem usage=True` or a `device map` requires Accelerate: `pip install 'accelerate>=0.26.0'

C:\_RUN\ComfyUI-aki-v1.4\python\

文件夹地址栏敲入cmd回车,开启cmd窗口,运行安装命令:

python.exe -m pip install accelerate==0.26.0

然后重启秋叶Comfy UI服务。
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值