2025最新本地部署 ComfyUI，解锁 DeepChat 【吉卜力】风格化新技能

AI绘画成神之路

于 2025-04-22 14:04:08 发布

阅读量959

点赞数 11

分类专栏： AIGC Stable Diffusion 文章标签： stable diffusion AI作画 AIGC ai绘画 Comfyui

本文链接：https://blog.csdn.net/m0_71745903/article/details/147416142

版权

Stable Diffusion 同时被 2 个专栏收录

64 篇文章

订阅专栏

AIGC

46 篇文章

订阅专栏

前段时间 GPT-4o 的【吉卜力】图像风格化，真的是火出天际，那如何给 DeepChat 也添加此能力呢？

【吉卜力】图片风格化，本质还是图生图，而大模型的 function call 不能直传图片 base64，否则 token 会爆。所以与 MCP Server 交互，涉及图片最好使用 URL 或文件路径，本例使用的就是文件路径。

需要特别说明一下，DeepChat V0.0.15 版本后，才能够获取图片的文件全路径，以前版本只支持获取文件名。

实现思路大致为在 ComfyUI 基础上，打造一个通用的 ComfyUI-MCP server，它可以根据配置，将特定 workflow 暴露给 DeepChat 使用。

具体实现步骤如下。

本地部署 ComfyUI ，运行【吉卜力】工作流

拷贝 github.com/jax-explorer/ComfyUI-easycontrol 到 ComfyUI 自定义节点。
下载 workflow/easy_control_workflow.json 文件，然后通过 ComfyUI web 界面导入此 workflow。
等相应模型下载并加载完成，可以选择 load 图片，点击进行生图。

这里都是 ComfyUI 基本操作，只要确保 ComfyUI 能正常工作就行。

使用 comfy2go 调用 ComfyUI API 接口进行生图

因为要与 DeepChat 结合，直接使用 ComfyUI 的界面是不行的，这里我使用 github.com/richinsley/comfy2go 这个库, 它能够实现和 ComfyUI 接口交互，基于它构建统一的 ComfyUI API服务或者 MCP Server 非常方便。

这里我实现了一个统一配置，主要包括两部分，workflow 描述和workflow 对外暴露的参数，从而能够实现低代码方式，实现 ComfyUI 任意 workflow 能力暴露。

workflow 整体配置

主要是对 workflow的描述，包含基础信息，以及 workflow 的工作流json 文件（ ComfyUI 界面导出）。

定义 workflow 暴露的字段，并说明字段与 ComfyUI workflow 节点绑定关系。

根据以上两份配置，可以生成基于 go-mcp SDK 的 Tool ，内容大致为

tool := &protocol.Tool{    Name:           "吉卜力风格化",    Description:    "输入一张照片，输出吉卜力风格化的图片",    InputSchema: protocol.InputSchema{        Type:       protocol.Object,        Properties: map[string]*protocol.Property{            "image": {                Type: "string",                Description: "请输入参考图片",            },        },        Required:   []string{"image"},    },}

该 tool 的 handler 逻辑为根据用户输入的图片文件路径，读取图片内容，然后使用 comfy2go 将图片发送给 ComfyUI，最后监听 ComfyUI 的 WS message，确保任务处理完成。

读取 ComfyUI 生成的图片，保存到一个特定目录，比如 ./pics，方便后续操作使用。

使用 go-mcp 构建 MCP Server

这里我准备使用 gin 作为 http 服务，因为经过 ComfyUI 生成的图片，需要在 DeepChat 界面直接渲染出来，最好能返回图片 UR，而用 gin 搭建一个静态资源服务器，非常方便。

那如何将 gin 与 go-mcp 结合呢，其实 go-mcp SDK 提供了对应方法来获取 SSE 的 handler，代码大致为：

sseTransport, handler, err := transport.NewSSEServerTransportAndHandler("/message")if err != nil {    log.Panicf("new sse transport and hander with error: %v", err)}
// Initialize MCP servermcpServer, err := server.NewServer(sseTransport,    server.WithServerInfo(protocol.Implementation{        Name:    "comfyui-mcp",        Version: "1.0.0",    }),)
// register tool// mcpServer.RegisterTool(tool, NewToolHandler(workflowID))
go func() {    mcpServer.Run()}()defer mcpServer.Shutdown(context.Background())
r := gin.Default()// add mcp handlerr.GET("/sse", func(ctx *gin.Context) {    mcpHandler.HandleSSE().ServeHTTP(ctx.Writer, ctx.Request)})r.POST("/message", func(ctx *gin.Context) {    mcpHandler.HandleMessage().ServeHTTP(ctx.Writer, ctx.Request)})
r.Static("/pics/", "pics")r.Run(cfg.Server.Linsten)

演示效果

触发任务