ComfyUI EcomID: 阿里开源助力定制化个性图像生成，单图生成高相似度图像

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. ComfyUI EcomID 是基于 SDXL-EcomID 的开源项目，用于生成高度定制化的个性图像。
2. 该项目结合了 PuLID 和 InstantID 的优点，优化了背景一致性和面部关键点控制。
3. EcomID 在 200 万张淘宝图像上训练，适用于虚拟现实、影视制作等多个领域。

正文

ComfyUI EcomID 是什么

ComfyUI EcomID 是阿里妈妈推出的开源项目，通过单个参考图像生成定制的个性图像。它融合了 PuLID 和 InstantID 的优点，优化了背景一致性、面部关键点控制和面部真实性，提高了生成图像的相似度。EcomID 在 200 万张淘宝图像上训练，图像分辨率高，美学评分超过 5.5，能生成与个体身份高度一致的图像。

EcomID 的主要功能

• 定制化图像生成：根据单个 ID 参考图像生成具有个性化特征的图像。
• 保持个体身份特征：在图像生成过程中保持个体的独特身份特征。
• 高质量图像输出：生成的图像具有高质量和语义一致性。
• 背景一致性：协调背景与前景的一致性，避免突兀的合成效果。
• 面部关键点控制：精确控制面部关键点，确保生成的面部图像在身份识别上具有高度的准确性。

EcomID 的技术原理

• 预训练的人脸编码器：提取人脸特征，避免依赖预训练的 CLIP 图像编码器。
• 轻量级适配模块：基于交叉注意力的轻量级适配模块，支持图像作为提示。
• IdentityNet：用面部关键点作为条件输入，消除文本提示，用 ID 嵌入作为 ControlNet 中交叉注意力层的条件。
• 结合 PuLID 和 InstantID：获得更好的背景一致性、面部关键点控制和更高的相似度。
• 训练数据集：在 200 万张淘宝图像上训练，确保模型的泛化能力和图像质量。

如何运行 ComfyUI EcomID

安装步骤

1. 升级 ComfyUI 到最新版本。
2. 将仓库克隆到ComfyUI/custom_nodes/目录或使用 Manager。
3. 安装依赖库insightface、onnxruntime和onnxruntime-gpu。

下载模型

• PuLID 预训练模型：放置在ComfyUI/models/pulid/。
• EVA CLIP：自动下载到 huggingface 目录。
• facexlib 依赖：首次使用时下载。
• InsightFace：放置在ComfyUI/models/insightface/models/antelopev2。
• InstantID 的 ip_adapter 模型：放置在ComfyUI/models/instantid。
• ControlNet：放置在 ComfyUI controlnet 目录。

示例展示

在示例目录中，您将找到基本工作流程和专用换脸工作流程。

资源

1. PuLID 预训练模型：https://huggingface.co/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors
2. InsightFace AntelopeV2：https://huggingface.co/MonsterMMORPG/tools/tree/main
3. InstantID ip_adapter 模型：https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin
4. ControlNet 模型：https://huggingface.co/alimama-creative/SDXL-EcomID/resolve/main/diffusion_pytorch_model.safetensors

---

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦