零门槛AI 绘图：教你为客户定制 ComfyUI Serverless API 应用

于 2024-07-31 16:44:00 发布
阅读量179 收藏 1
点赞数 3
文章标签： Serverless
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42477427/article/details/140826781
版权

作者：鸥弋、筱姜

2023年下半年，ComfyUI 以其快速、流畅的图像生成能力，结合多样的自定义节点，迅速在创作者中流行起来。ComfyUI 的亮点就是能够批量化生成图像，一键加载大量工作流，让用户可以轻松实现人像生成、背景替换、风格迁移和图像动画化等功能。越来越多的企业及个人开发者希望借助 ComfyUI 能力进行 AI 绘画领域创业或者业务上新，获得高流量及商业价值，但使用原生的 ComfyUI 仍然存在一些问题：

1.显卡资源昂贵且难以购买：GPU 卡池管理技术门槛高：高性能的 GPU 资源不仅价格昂贵，而且往往难以大规模采购。此外，GPU 卡池的有效管理和维护需要复杂的技术支持，也带来了额外的挑战。 2.难以应对高并发：原生的 ComfyUI 出图需要排队，并发处理能力有限。在面对高并发场景时，尤其是并发请求具有大的波动性时，资源配置难以精确预测，从而可能导致系统错误和业务中断。 3.门槛高，难以对外透出：ComfyUI 拥有一定的门槛，对于普通的创作者而言几乎无法使用，需要对其进行二次包装才能让更多用户享受到 AI 的便捷。

为了帮助用户高效率、低成本应对企业级复杂场景，以下介绍 ComfyUI API Serverless 版解决方案，通过使用该方案，用户可以充分利用 ComfyUI + Serverless 技术优势快速开发上线 AI 绘画应用，期待为广大开发者 AI 绘画创业及变现提供思路。 相关文章：AI 绘画平台难开发，难变现？试试 Stable Diffusion API Serverless 版解决方案

阿里云X优酷联名发起的「Creat@AI江湖创作大赛」使用本文章中的解决方案，基于函数计算FC 一键部署 AI 绘图平台，1分钟实现 “破次元壁合照”、5分钟实现 Stable Diffusion、ComfyUI 部署，生成以“少年江湖“为主题的画作赢万元奖金。 活动链接：https://developer.aliyun.com/plan/create/snbm 截屏2024-07-30 14.12.49.png

方案优势

在以往的活动中，我们也面临了很多非技术相关的用户期望享受 AI 的魅力。结合实际需要我们给出了 Serverless 化的 ComfyUI 实践案例，解决了上述问题。

  • 部署简单：提供基础 ComfyUI 镜像，不需要修改时一键即可拉起出图，需要修改时也只需要修改 ComfyUI 镜像地址即可
  • 弹性 GPU：函数计算提供了 GPU 弹性的能力，根据实际请求控制实例个数，有突发流量时自动弹新实例承接请求，完全不需要增加额外的关注
  • 按量付费：函数计算的按量实例为毫秒级粒度的计费策略，用多久就收多少钱，确保每分钱都花在刀刃上
  • ComfyUI Serverless 化改造：对原本不适应 Serverless 弹性能力的 ComfyUI 改造，使其可以支持异步、并发、弹性等各种 Serverless 能力
  • 前后端联动：活动开源了一个支持自定义参数，并且并发出图的前端页面，可直接提供给客户使用

应用场景

ComfyUI 提供了非常高的自由度和灵活性，支持定制化工作流，并且可以重复使用，批量出图，特别适用于需要创意图像生成场景：

  • 艺术创作与设计：艺术家和设计师可以利用 ComfyUI 生成独特的艺术作品，包括概念艺术、插画、海报设计等。通过 ComfyUI，他们可以根据自己的创意想法生成初步的图像草稿，然后再进一步细化和完善。
  • 内容制作与营销：在社交媒体、广告和营销领域，ComfyUI 可用于快速生成符合品牌风格的视觉素材，用于社交媒体内容、广告横幅、海报等
  • 游戏开发：游戏开发者可能利用 ComfyUI 自动生成游戏内的景观或建筑物的纹理，减少手工制作这些元素所需的时间和成本。
  • 视觉特效与影视后期：电影和电视行业的视觉特效团队可以使用 ComfyUI 来辅助创建逼真的背景、特殊效果或修复旧影片中的画面缺陷。

通过 API 接口调用 ComfyUI 解决方案

常规的 ComfyUI 出图的流程大致如下

  • 调用 /prompt 接口，发起出图任务
  • 通过 WebSocket 获取出图进度

由于在 Serverless 场景下，无请求的时候实例会被冻结，因此 WebSocket 请求是必须要存在的，且需要保持连接到出图完成。

在并发请求数比较大的情况下，我们往往期望可以利用 Serverless 的弹性，动态创建多个函数实例处理出图任务。但由于 ComfyUI 本身是“有状态”的，难以确保出图的请求和获取状态的请求固定打到同一个实例上，这可能会导致接口的调用不符合预期。

为了让 ComfyUI 更加适配 Serverless 模式，需要针对 ComfyUI 进行一定的改造。 参考 fc-comfyui/src/images/agent 的代码，在 ComfyUI 镜像里内置 agent 程序，负责转换 ComfyUI 请求并且拉起 ComfyUI。 截屏2024-07-30 13.59.35.png

注意！ 我们提供的代码仅用于运营活动使用，作为 Serverless 方式调用的实践参考。 功能未经过严格测试，请根据实际的业务需要开发或调整相关的代码，并构建 ComfyUI 镜像。

目前提供的 Agent 能力介绍

开启 Agent 能力，需要增加环境变量

  • USE_AGENT：1

当通过 Agent 的 API 调用时，建议您调整单实例并发度为 1 ～ 5，确保并发请求尽量使用单独的实例，提高出图效率

数据类型

出图 Prompt

与 ComfyUI 在 Dev Mode 导出的文件一致

type TPromptNode struct {
    Inputs    map[string]any `json:"inputs"`
    ClassType string         `json:"class_type"`
    Meta      map[string]any `json:"_meta"`
}

type TPrompt map[string]TPromptNode

LoadImage 节点的参数做了特殊处理，如果内容为 base64 或 http 地址，会自动将对应的文件上传，并转换为 ComfyUI 可识别的形式

进度

// key 为 node id 的 map 对象
type TProgress map[string]TProgressNode

type TProgressNode struct {
    Max         int                  `json:"max"` // 进度的最大值
    Value       int                  `json:"value"` // 当前进度
    Start       int64                `json:"start"` // 开始时间
    LastUpdated int64                `json:"last_updated"` // 最后一次更新时间
    Images      []TProgressNodeImage `json:"images"` // 当前节点输出的图片信息（路径）
    Results     []string             `json:"results,omitempty"` // 当前节点输出的图片 base64
}

接口

出图请求（HTTP 同步）

路径：/api/run Body：json 格式的 prompt 数据 返回值：最后一次的进度（包含图片信息）

当需要异步请求时，需要增加 X-Fc-Invocation-Type 和 task-id，前者告知 FC 异步形式调用，后者用于记录当前任务的唯一 id，方便后续获取状态

curl http://xxxxx/api/run -v \
    -H 'X-Fc-Invocation-Type: Async' \
  -H "task-id: abcdefg" \
     -XPOST \
  -d '{
    "3": {
        "inputs": {
            "seed": 1586995582004891,
            "steps": 17,
            "cfg": 6,
            "sampler_name": "dpm_2",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "33",
                0
            ],
            "positive": [
                "31",
                0
            ],
            "negative": [
                "32",
                0
            ],
            "latent_image": [
                "5",
                0
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "4": {
        "inputs": {
            "ckpt_name": "majicMIX realistic_v7.safetensors"
        },
        "class_type": "CheckpointLoaderSimple",
        "_meta": {
            "title": "Load Checkpoint"
        }
    },
    "5": {
        "inputs": {
            "width": 1024,
            "height": 784,
            "batch_size": 1
        },
        "class_type": "EmptyLatentImage",
        "_meta": {
            "title": "Empty Latent Image"
        }
    },
    "6": {
        "inputs": {
            "text": "2 human\nhi quality,detailed",
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encode (Prompt)"
        }
    },
    "8": {
        "inputs": {
            "samples": [
                "3",
                0
            ],
            "vae": [
                "4",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "9": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "images": [
                "8",
                0
            ]
        },
        "class_type": "SaveImage",
        "_meta": {
            "title": "Save Image"
        }
    },
    "10": {
        "inputs": {
            "image": "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/default.png",
            "upload": "image"
        },
        "class_type": "LoadImage",
        "_meta": {
            "title": "Load Image"
        }
    },
    "11": {
        "inputs": {
            "image": "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/百里东君.png",
            "upload": "image"
        },
        "class_type": "LoadImage",
        "_meta": {
            "title": "Load Image",
            "edit": []
        }
    },
    "12": {
        "inputs": {
            "image": "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/background.png",
            "upload": "image"
        },
        "class_type": "LoadImage",
        "_meta": {
            "title": "Load Image"
        }
    },
    "13": {
        "inputs": {
            "image": "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/mask.png",
            "upload": "image"
        },
        "class_type": "LoadImage",
        "_meta": {
            "title": "Load Image"
        }
    },
    "15": {
        "inputs": {
            "threshold_r": 0.15,
            "threshold_g": 0.15,
            "threshold_b": 0.15,
            "remove_isolated_pixels": 0,
            "fill_holes": false,
            "image": [
                "13",
                0
            ]
        },
        "class_type": "MaskFromRGBCMYBW+",
        "_meta": {
            "title": "🔧 Mask From RGB/CMY/BW"
        }
    },
    "21": {
        "inputs": {
            "image_weight": 0.8,
            "prompt_weight": 1,
            "weight_type": "linear",
            "start_at": 0,
            "end_at": 1,
            "image": [
                "10",
                0
            ],
            "mask": [
                "15",
                0
            ],
            "positive": [
                "24",
                0
            ],
            "negative": [
                "25",
                0
            ]
        },
        "class_type": "IPAdapterRegionalConditioning",
        "_meta": {
            "title": "IPAdapter Regional Conditioning"
        }
    },
    "22": {
        "inputs": {
            "image_weight": 1,
            "prompt_weight": 1,
            "weight_type": "linear",
            "start_at": 0,
            "end_at": 1,
            "image": [
                "11",
                0
            ],
            "mask": [
                "15",
                1
            ],
            "positive": [
                "26",
                0
            ],
            "negative": [
                "25",
                0
            ]
        },
        "class_type": "IPAdapterRegionalConditioning",
        "_meta": {
            "title": "IPAdapter Regional Conditioning"
        }
    },
    "23": {
        "inputs": {
            "image_weight": 0.7000000000000001,
            "prompt_weight": 1,
            "weight_type": "linear",
            "start_at": 0,
            "end_at": 1,
            "image": [
                "12",
                0
            ],
            "mask": [
                "15",
                6
            ]
        },
        "class_type": "IPAdapterRegionalConditioning",
        "_meta": {
            "title": "IPAdapter Regional Conditioning"
        }
    },
    "24": {
        "inputs": {
            "text": "illustration of a body with black hair, presented in high definition with intricate details",
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encode (Prompt)"
        }
    },
    "25": {
        "inputs": {
            "text": "(worst quality:1.6),(low quality:1.6),(lowres:1.6),(NSFW:1.5),watermark,monochrome,disconnected limbs,malformed limbs,extra limb,mutated hands,fused fingers,too many fingers,extra arms,missing fingers,bad hands,bad feet,mutated hands and fingers,malformed hands,extra legs,floating limbs,missing limb,mutation,mutated,deformed,bad body,poorly drawn hands,(badhandv4),(naked),(nude),",
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encode (Prompt)"
        }
    },
    "26": {
        "inputs": {
            "text": "anime Aillustration of 1 boy with black hair, depicted in high definition showcasing rich details, in 8k resolution.",
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encode (Prompt)"
        }
    },
    "28": {
        "inputs": {
            "params_1": [
                "21",
                0
            ],
            "params_2": [
                "22",
                0
            ],
            "params_3": [
                "23",
                0
            ]
        },
        "class_type": "IPAdapterCombineParams",
        "_meta": {
            "title": "IPAdapter Combine Params"
        }
    },
    "31": {
        "inputs": {
            "conditioning_1": [
                "21",
                1
            ],
            "conditioning_2": [
                "22",
                1
            ],
            "conditioning_3": [
                "6",
                0
            ],
            "conditioning_4": [
                "47",
                0
            ]
        },
        "class_type": "ConditioningCombineMultiple+",
        "_meta": {
            "title": "🔧 Conditionings Combine Multiple "
        }
    },
    "32": {
        "inputs": {
            "conditioning_1": [
                "47",
                1
            ],
            "conditioning_2": [
                "22",
                2
            ],
            "conditioning_3": [
                "25",
                0
            ]
        },
        "class_type": "ConditioningCombineMultiple+",
        "_meta": {
            "title": "🔧 Conditionings Combine Multiple "
        }
    },
    "33": {
        "inputs": {
            "combine_embeds": "concat",
            "embeds_scaling": "V only",
            "model": [
                "4",
                0
            ],
            "ipadapter": [
                "34",
                1
            ],
            "ipadapter_params": [
                "28",
                0
            ]
        },
        "class_type": "IPAdapterFromParams",
        "_meta": {
            "title": "IPAdapter from Params"
        }
    },
    "34": {
        "inputs": {
            "preset": "PLUS (high strength)",
            "model": [
                "4",
                0
            ]
        },
        "class_type": "IPAdapterUnifiedLoader",
        "_meta": {
            "title": "IPAdapter Unified Loader"
        }
    },
    "43": {
        "inputs": {
            "clip_name": "CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors"
        },
        "class_type": "CLIPVisionLoader",
        "_meta": {
            "title": "Load CLIP Vision"
        }
    },
    "45": {
        "inputs": {
            "ipadapter_file": "ip-adapter-plus_sd15.safetensors"
        },
        "class_type": "IPAdapterModelLoader",
        "_meta": {
            "title": "IPAdapter Model Loader"
        }
    },
    "46": {
        "inputs": {
            "provider": "CPU"
        },
        "class_type": "IPAdapterInsightFaceLoader",
        "_meta": {
            "title": "IPAdapter InsightFace Loader"
        }
    },
    "47": {
        "inputs": {
            "strength": 0.8,
            "start_percent": 0,
            "end_percent": 1,
            "positive": [
                "21",
                1
            ],
            "negative": [
                "21",
                2
            ],
            "control_net": [
                "48",
                0
            ],
            "image": [
                "49",
                0
            ]
        },
        "class_type": "ControlNetApplyAdvanced",
        "_meta": {
            "title": "Apply ControlNet (Advanced)"
        }
    },
    "48": {
        "inputs": {
            "control_net_name": "control_v11p_sd15_openpose_fp16.safetensors"
        },
        "class_type": "ControlNetLoader",
        "_meta": {
            "title": "Load ControlNet Model"
        }
    },
    "49": {
        "inputs": {
            "detect_hand": "enable",
            "detect_body": "enable",
            "detect_face": "enable",
            "resolution": 512,
            "image": [
                "10",
                0
            ]
        },
        "class_type": "OpenposePreprocessor",
        "_meta": {
            "title": "OpenPose Pose"
        }
    }
}'


{"":{"max":0,"value":0,"start":0,"last_updated":1722234889,"images":null},"10":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"11":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"12":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"13":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"15":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"21":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"22":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"23":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"24":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"25":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"26":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"28":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"3":{"max":17,"value":17,"start":1722234848,"last_updated":1722234889,"images":null},"31":{"max":1,"value":0,"start":1722234848,"last_updated":1722234848,"images":null},"32":{"max":1,"value":0,"start":1722234848,"last_updated":1722234848,"images":null},"33":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"34":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"4":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"43":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"45":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"46":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"47":{"max":1,"value":0,"start":1722234848,"last_updated":1722234848,"images":null},"48":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"49":{"max":1,"value":1,"start":1722234846,"last_updated":1722234848,"images":null},"5":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"6":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"8":{"max":1,"value":0,"start":1722234889,"last_updated":1722234889,"images":null},"9":{"max":1,"value":0,"start":1722234889,"last_updated":1722234889,"images":[{"filename":"ComfyUI_00004_.png","subfolder":"","type":"output"}]}}

出图请求（WebSocket）

路径：/api/run/ws Message：

  • 客户端 -> 服务端：仅发送一次，json 格式的 prompt 信息
  • 服务端 -> 客户端：中间状态

获取状态

路径：/api/run/ws?id= Query 参数：

  • id：task id
curl http://xxxxx/api/status?id=abcdefg -v


{"":{"max":0,"value":0,"start":0,"last_updated":1722234889,"images":null},"10":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"11":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"12":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"13":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"15":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"21":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"22":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"23":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"24":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"25":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"26":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"28":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"3":{"max":17,"value":17,"start":1722234848,"last_updated":1722234889,"images":null},"31":{"max":1,"value":0,"start":1722234848,"last_updated":1722234848,"images":null},"32":{"max":1,"value":0,"start":1722234848,"last_updated":1722234848,"images":null},"33":{"max":1,"value":0,"start":1722234844,"last_updated":1722234844,"images":null},"34":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"4":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"43":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"45":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"46":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"47":{"max":1,"value":0,"start":1722234848,"last_updated":1722234848,"images":null},"48":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"49":{"max":1,"value":1,"start":1722234846,"last_updated":1722234848,"images":null},"5":{"max":0,"value":0,"start":0,"last_updated":0,"images":null},"6":{"max":0,"value":0,"start":0,"last_updated":0,"imag* Connection #0 to host photo-b-comfyui-ibiwqxodsh.cn-hangzhou.fcapp.run left intact
es":null},"8":{"max":1,"value":0,"start":1722234889,"last_updated":1722234889,"images":null},"9":{"max":1,"value":0,"start":1722234889,"last_updated":1722234889,"images":[{"filename":"ComfyUI_00004_.png","subfolder":"","type":"output"}]}}

其他

原样转发至 ComfyUI

调用方式

同步调用

/api/run 和 /api/run/ws 都是同步接口，直接调用即可，区别在于是否需要出图进度

  • 在 WebSocket 内部获取：只调用 /api/run/ws
  • 不关心出图进度 / 起另一个线程获取进度：使用 /api/run + /api/status

注：当选择 /api/run + /api/status 方式时，您需要挂载一个 NAS 实例或改造代码，将状态存放至 OTS 等数据库，否则在多实例时无法获取进度

异步调用

调用 /api/run 接口，并且添加 HTTP Header，借助函数计算自带的能力，将请求转换为异步形式

  • Key：X-Fc-Invocation-Type
  • Value：Async

注：当选择异步调用时，您需要挂载一个 NAS 实例或改造代码，将状态存放至 OTS 等数据库，否则在多实例时无法获取进度

二次开发

我们提供的 agent 仅用作参考，正式使用时，请根据业务需要进行二次开发

状态存储

在 src/images/agent/pkg/store/fs.go 中，我们实现了基于文件系统的状态存储，您只需要挂载 NAS 系统，确保文件可被正常持久化，既可以在多个实例之间共享状态文件，确保可以正确拿到状态信息 更好的做法是，将状态信息写入到 OTS、MySQL 等数据库中，您只需要仿照 fs.go 实现 Stroe 接口针对其他数据库的实现即可

// Store KV 数据存储
type Store interface {
    // Save 存储 value 到 key
    Save(key string, value string) error
    // Load 从 key 加载 value
    Load(key string) (string, error)
}

Output 节点

目前，agent 仅针对 SaveImage 节点做了特殊处理，提取其中的图片信息。对于特殊的业务需要，您可能需要更加定制化的工作流处理，如

  • 增加更多对于 Output 的解析

  • 不解析图片节点，而是借助于其他接口获取图片文件

    case "execution_error", "executed":
          // 节点执行结束
          log.Debugf("%s node %s finished", logPrefix, nodeid)

          // 节点已完成时，修改下 Max 和 Value 至少为 1
          if currentNodeProgress.Max == 0 && currentNodeProgress.Value == 0 {
              currentNodeProgress.Max = 1
              currentNodeProgress.Value = 1
          }

          if promptNode.ClassType == "SaveImage" && msg.Data.Output.Images != nil && len(msg.Data.Output.Images) > 0 {
              // 如果是图片节点，则记录一下图片数据
              if currentNodeProgress.Images == nil {
                  currentNodeProgress.Images = make([]store.TProgressNodeImage, 0, len(msg.Data.Output.Images))
              }

              for _, img := range msg.Data.Output.Images {
                  currentNodeProgress.Images = append(currentNodeProgress.Images, store.TProgressNodeImage{
                      Filename:  img.Filename,
                      SubFolder: img.SubFolder,
                      Type:      img.Type,
                  })
              }
          }

前端功能集成

与 Agent 对应，我们也给出了一份前端页面 devsapp/fc-comfyui-couple-photo

在这里，我们针对 ComfyUI 的 prompt 做了一些特殊的约定，以适应自定义需要。 以函数计算支持活动 “阿里云X优酷江湖创作大赛” 为例，我们提供了预定义的 prompt 文件

[
  {
    "title": "破次元壁合照",
    "prompt": {},
    "params": [
      {
        "type": "group",
        "title": "STEP 1 - 上传您的照片",
        "children": [
          {
            "type": "image",
            "id": "10",
            "key": "image",
            "title": "参考图",
            "description": "请上传您的照片，帮助模型理解您的样貌。请尽量选择背景简单、主体突出的半身照，不要佩戴墨镜、帽子等可能影响您特征的衣物。"
          },
          {
            "type": "string",
            "id": "24",
            "key": "text",
            "title": "参考形象描述",
            "description": "为了确保模型更好地理解您的特点，您可以使用提示词来加强模型对您的印象（请使用因为描述）。"
          }
        ]
      },
      {
        "type": "image",
        "id": "11",
        "key": "image",
        "title": "STEP 2 - 选择角色",
        "description": "请选择您希望合照的角色。",
        "options": [
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/百里东君.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/司空长风.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/玥瑶.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/叶鼎之.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/易文君.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/南宫春水.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/萧若风.png"
        ]
      },
      {
        "type": "image",
        "id": "12",
        "key": "image",
        "title": "STEP 3 - 上传背景图",
        "description": "请上传您期望的合影地点的图片，这将作为背景图片的参考。"
      }
    ]
  },
  {
    "title": "背景替换",
    "prompt": {},
    "params": [
      {
        "type": "image",
        "id": "10",
        "key": "image",
        "title": "STEP 1 - 选择角色",
        "description": "请选择您希望合照的角色。",
        "options": [
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/百里东君.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/司空长风.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/玥瑶.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/叶鼎之.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/易文君.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/南宫春水.png",
          "https://serverless-tool-images.oss-cn-hangzhou.aliyuncs.com/aigc/json/couple/萧若风.png"
        ]
      },
      {
        "type": "image",
        "id": "12",
        "key": "image",
        "title": "STEP 2 - 上传背景图",
        "description": "请上传您期望的合影地点的图片，这将作为背景图片的参考。"
      }
    ]
  }
]

通过 params 字段，约定了如何渲染页面并允许用户填入自己的参数

export type ComfyUIPromptEditPanel = {
  type: 'image' | 'select' | 'number' | 'string' | 'group'; // 数据类型
  id?: string; // 对应 prompt 中的 node id
  key: string; // 要修改的参数
  title: string; // 标题
  description?: string; // 描述
  options?: string[] | string; // 可选项
  min?: number; // 最小值
  max?: number; // 最大值
  step?: number; // 调整步数
  hidden?: boolean; // 是否隐藏
  children?: ComfyUIPromptEditPanel[]; // group 类型的子节点
};

一些其他约定：

  • 如果 seed 字段为 -1，则会被替换为随机数

如果您也希望创建自己的 ComfyUI 自定义页面提供给自己的客户，可以参考相关的前端代码。

最佳实践

为了方便大家直观体验一下该解决方案成效，函数计算Serverless 应用中心上线基于 ComfyUI Serverless API 解决方案搭建的 应用-【少年白马专属】破次元壁合照 AI 绘画平台，作为一个实验demo 开放体验，期待为广大开发者 AI 绘画创业及变现提供一些有益思考。直接参加体验活动，送好礼！ 活动链接：https://developer.aliyun.com/plan/create/snbm 截屏2024-07-30 14.07.49.png

更多内容关注 Serverless 微信公众号（ID：serverlessdevs），汇集 Serverless 技术最全内容，定期举办 Serverless 活动、直播，用户最佳实践。

Serverless 社区
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
将AI和机器学习集成到Serverless架构中：API和服务调用
禅与计算机程序设计艺术
07-19 2809
作者：禅与计算机程序设计艺术 Serverless计算平台简介 Serverless（无服务器）计算模型是一种新兴的云计算服务模式。它的特点是通过云函数或应用程序运行环境直接执行代码而无需管理服务器等基础设施，降低运维成本，提高应用性能。其主要特征包括自动扩容、按量计费、事件驱
serverless-telegram-bot：用Python 3编写并使用Serverless框架部署到AWS Lambda的Serverless Telegram Bot
02-05
AWS Lambda上的无服务器电报机器人 介绍 这是用Python 3编写并使用无服务器框架部署到AWS ... npm install -g serverless 导出凭证： export AWS_ACCESS_KEY_ID= export AWS_SECRET_ACCESS_KEY= export TELEGRAM_TOKE
推荐开源项目：ComfyUI-serverless - 打开Serverless部署的创意大门
gitblog_00016的博客
06-14 312
推荐开源项目：ComfyUI-serverless - 打开Serverless部署的创意大门 项目地址:https://gitcode.com/fidecastro/ComfyUI-serverless 在当今快速发展的技术时代，我们常常追求灵活性与速度并重的解决方案，特别是在处理复杂的图像工作流程时。ComfyUI-serverless 正是这样一款应运而生的开源工具，它为Serverless...
03｜基础入门：编写你的第一个 Serverless 应用
sucaiwa的博客
03-13 304
你能发现，在 HTTP 触发器中函数定义是 function(request, response, context)，在 API 网关触发器中，函数定义是 function(event, context) ，所以，函数定义本质上是由触发器和编程语言决定的。标准的函数定义是 function(event, context)。event 是事件对象。在 Serverless 中，触发器被称为“事件源”，英文是 event，这解释了为什么函数参数名是 event。触发器不同，event 的值可能不同。
急速搭建 Serverless AI 应用：为你写诗
阿里巴巴云原生的博客
01-02 1054
前言 首先介绍下在本文出现的几个比较重要的概念： 函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。 Fun: Fun 是一个用于支持 Serverless 应用部署的工具，能帮助...
为你写诗：3 步搭建 Serverless AI 应用
阿里巴巴云原生的博客
01-03 1114
作者 | 杜万（倚贤） 阿里巴巴技术专家 本文整理自 1 月 2 日社群分享，每月 2 场高质量分享，点击加入社群。 关注“阿里巴巴云原生”公众号，回复关键词 0102 即可下载本文 PPT。 导读：本文作者将以一个自动生成五言绝句诗句的示例，向大家介绍一个典型函数计算的应用场景：AI Model Serving（AI 模型服务化）。内容分三个部分进行：首先介绍函数计算和 AI 推理；其次介绍...
【AWS系列】第七讲： AWS Serverless之API Gateway
颜淡慕潇
11-07 4001
Amazon API Gateway 是一项AWS服务，其用途类似后端接口。用于创建、发布、维护、监控和保护任意规模。类型RESTHTTP打开API gateway 控制台，点击新建到这里，一个简单的API gateway 使用流程就结束了，感觉就类似于后端的接口名aws把他细化了，一个api,可以对应一个lambda ，也可以是其他方式，具体看项目需要。
阿里云Serverless应用引擎SAE，布署asp.net 6.0 web api 教程案例
zqp123的专栏
12-18 961
阿里云无服务SAE引擎，发布.net web api 学习案例
教你如何使用vercel服务免费部署前端项目和serverless api
热门推荐
上下求索
01-04 1万+
一、介绍一下vercel vercel 是一个站点托管平台，提供CDN加速，同类的平台有Netlify 和 Github Pages，相比之下，vercel 国内的访问速度更快，并且提供Production环境和development环境，对于项目开发非常的有用的，并且支持持续集成，一次push或者一次PR会自动化构建发布，发布在development环境，都会生成不一样的链接可供预览。 但是vercel只是针对个人用户免费，teams是收费的 首先vercel零配置部署，第二访问速度比github-
使用 Elasticsearch 和 OpenAI 为你的客户成功应用程序构建对话式搜索
Elastic 中国社区官方博客
07-20 1142
在此博客中，我们将探讨如何通过利用大型语言模型 (LLM) 和检索增强生成 (RAG) 等技术实施对话式搜索来增强你的客户成功应用程序。你将了解对话式搜索在客户成功应用程序环境中的优势，以及如何使用 Elasticsearch 有效地实施它。
serverless-api-gateway-throttling:无服务器框架的插件，可为API网关端点配置限制
04-25
无服务器API网关限制 介绍 无服务器框架的插件，可为API网关端点配置限制。 为什么？ 将API部署到API Gateway时，默认情况下会启用限制。 但是，默认方法限制-10,000个请求/秒，同时突发5000个并发请求-与您的帐户...
从零入门：详解Serverless架构模式
02-24
随着需求和技术的发展，业界出现了一些FaaS以外的其它形态的Serverless计算服务，比如GoogleCloudRun，阿里云推出的面向应用的Serverless应用引擎服务以及ServerlessK8s，这些服务也提供了弹性伸缩能力和按使用计费...
serverless-slack-app：具有OAuth和Bot操作的Serverless.js Slack应用程序样板
01-30
使用AWS Lambda，API Gateway，DynamoDB和CloudFormation创建无服务器的Slack应用。 所有服务将自动为您提供。 所需的只是您的Slack App密钥。 安装无服务器并配置AWS 设置您的 安装 npm install -g serverless ...
阿里云：释放算力潜能加速应用构建Serverless 为 AI 创新提速(1).pdf
07-18
### 阿里云Serverless技术加速AI...特别是Serverless GPU技术的应用，更是解决了GPU资源紧缺与成本高昂这一难题，为AI计算提供了强大的支撑。在未来的发展中，Serverless技术将继续发挥其优势，推动AI领域的创新发展。
mpu6050陀螺仪使用方法开发教程文档.docx
07-30
mpu6050陀螺仪使用方法
【SCI顶级】龙格库塔算法RUN-CNN-LSTM-Multihead-Attention温度预测【含源码 5747期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
大模型的数学之魂：统计学习理论精要
07-30
大型机器学习模型，通常简称为“大模型”，是指具有数十亿甚至数千亿参数的深度神经网络模型。这些模型因为其庞大的参数量和复杂的计算结构，能够处理非常复杂的任务和数据，展现出强大的表达能力和预测性能。大模型在自然语言处理、计算机视觉、语音识别和推荐系统等多个领域都有广泛的应用。 大模型的设计目的是通过训练海量数据来学习复杂的模式和特征，从而具备强大的泛化能力，能够对未见过的数据做出准确的预测。与参数较少、层数较浅的小模型相比，大模型虽然需要更多的计算资源和时间来训练和推理，但它们展现出了一种被称为“涌现能力”的特性，即从原始训练数据中自动学习并发现新的、更高层次的特征和模式。 大模型的发展历程可以分为几个阶段，从早期的卷积神经网络模型发展到以Transformer为代表的全新神经网络模型，再到当前以GPT为代表的预训练大模型阶段。Transformer架构因其自注意力机制而成为大模型的核心技术，它使得模型能够更好地理解和处理文本数据中的长距离依赖关系。 大模型的分类主要包括语言大模型（NLP）、视觉大模型（CV）和多模态大模型。语言大模型专注于处理文本数据和理解自然语言，而视觉大模型用
唯美淡雅四页.zip
最新发布
07-30
【简历模板】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值