使用VLM搭建ComfyUI-Dream-Interpreter梦境解析器

人类学习本质上是多模态 (multi-modal) 的,因为联合利用多种感官有助于我们更好地理解和分析新信息。理所当然地,多模态学习的最新进展即是从这一人类学习过程的有效性中汲取灵感,创建可以利用图像、视频、文本、音频、肢体语言、面部表情和生理信号等各种模态信息来处理和链接信息的模型。随着自然语言处理和计算机视觉的交叉融合,视觉-语言模型(VLM)已成为一个热门的研究领域。

视觉语言模型 (VLM) 采用多模态架构,可同时处理图像和文本数据。他们可以执行视觉问答 (VQA)、图像标题和文本到图像搜索类型的任务。VLM 利用多模态融合与交叉注意力、掩码语言建模和图像文本匹配等技术将视觉语义与文本表示相关联。此存储库包含有关著名视觉语言模型 (VLM) 的信息,包括有关其架构、训练过程和用于训练的数据集的详细信息。单击以展开以了解每种架构的更多详细信息。

接下来我们使用ComfyUI-Dream-Interpreter搭建一个全景的梦境解析器,话不多说,下面开始部署:

一:安装ComfyUI的三个节点插件

git clone https://github.com/gokayfem/ComfyUI-Dream-Interpreter.git
git clone https://github.com/gokayfem/ComfyUI_VLM_nodes.git
git clone https://github.com/jags111/ComfyUI_Jags_VectorMagic.git

二:下载工作流

下载这个工作流文件dream_interpretation_workflow.json,保存到你能随时找到的地方。

三:下载模型

这个工作很重要,全部模型145G,用的到的主要有以下几个:

1、dreamshaperXL_v21TurboDPMSDE.safetensors,去C站下载,当然如果找不到也可以用其他的标准模型代替。

下载位置:https://civitai.com/models/112902?modelVersionId=351306

安装位置:models\checkpoints

2、下载LoRa,360RedmondResized.safetensors。

下载地址:https://civitai.com/models/118025/360redmond-a-360-view-panorama-lora-for-sd-xl-10

安装位置:models\loras

3、下载视频模型:llava-v1.6-mistral-7b.Q5_K_M.gguf

全部这么多文件,不过你可以只下载最后一个。

下载位置:https://huggingface.co/cjpais/llava-1.6-mistral-7b-gguf/tree/main

安装位置: models\LLavacheckpoints

4、下载yolov8:

大约这些文件模型是ComfyUI_Jags_VectorMagic节点所需要的。

下载位置:https://huggingface.co/jags/yolov8_model_segmentation-set/tree/main

安装位置:models\yolov8

5、clipseg

ComfyUI_Jags_VectorMagic节点还需要以下这些模型。

下载位置:https://huggingface.co/CIDAS/clipseg-rd64-refined/tree/main

安装位置:models\clipseg

四:运行

导入工作流文件:dream_interpretation_workflow.json,然后运行就可以了。

  • 23
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BBM的开源HUB

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值