[ComfyUI]AI换脸神器 InstantID, 保姆级安装与使用指南

AI换脸技术发展迅速,roop,Reactor,ipadapter-faceid,photomaker,InstantID,换脸神器更新非常快。(文末可领取相关插件及学习资料)

对比lora训练,faceID,intantID,IPA,在人脸风格的迁移上,是目前AI换脸的主要方式。而最新出的InstantID,只需单个图像即可实现ID保留生成,相似度极高。

1.instantid特点

  1. InstantID,主要是使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。

InstantID 同时支持 WebUI 和 ComfyUI。

  1. 支持官方提供的8种风格,还可与PhotoMaker Styler通用。

  2. 项目地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID

2.安装 | Install

  • 推荐使用 ComfyUI Manager管理器安装,安装完成后重启comfyui。

  • 在 ComfyUI 管理器中搜索 「InstantID」,选择第一个安装。

注意事项:

  1. 使用InstantID需安装InsightFace 模型(所有换脸的插件都需要)

  2. 需使用 SDXL 系列模型

  3. 显存要求高,至少12G显存

3.风格 | Styles

  1. 支持官方提供的8种风格:
  • (No style)

  • Watercolor

  • Film Noir

  • Neon

  • Jungle

  • Mars

  • Vibrant Color

  • Snow

  • Line art

4.工作流 | workflow

作者提供了InstantID基础工作流和InstantID风格化工作流(增加了配合ArtGallery的艺术可视化工作流)

InstantID风格化工作流

InstantID基础工作流

4.模型下载

下载模型文件,放入 InstantID 的插件目录下:

\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints

  • 下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet)

  • 下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints)

  • 下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中

controlnet模型:

https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel

ipadapter模型:

https://huggingface.co/InstantX/InstantID/tree/main

  1. 5.使用

第一个加载器,修改成本地存放 controlnet 模型的目录,以下是我本地的路径:

F:\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoints\controlnet

第二个加载器是大模型,选择 SDXL 版本的模型。

第三个加载器是 ip-adapter 的加载器,以下是我本地的路径:

在提示词风格化节点中,可以选择不同的风格。

第一张图放人脸,第二张图控制脸部的位置。InstantID会将2个图像的人脸按照一定比例融合,生成新的图片。

InstantID风格化工作流说明:

工作流中多了一个可视化风格节点。

中间的模型加载器不用管,这里是默认去网上下载的,当然也可以把这个节点换成从本地模型库去取。

可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。第二个节点是艺术运动。

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

### ComfyUI Reactor 视频教程资源 对于希望利用ComfyUI Reactor实现视频效果的开发者而言,了解该工具的基础架构及其特定功能至关重要。ComfyUI Reactor提供了一套完整的解决方案来处理图像和视频中的面部替操作[^1]。 #### 工具安装配置 为了启动并运行基于ComfyUI Reactor的工作流程,需先完成环境搭建工作。这通常涉及Python版本的选择以及依赖库的安装过程。官方文档建议采用Anaconda作为管理平台,并通过pip命令获取必要的软件包支持[^2]。 ```bash # 创建虚拟环境 conda create -n comfyui python=3.8 conda activate comfyui # 安装基础依赖项 pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 pip install -r requirements.txt ``` #### 数据准备阶段 高质量的结果取决于输入素材的质量,在执行任何算法之前,应当准备好待处理的目标视频文件和个人照片样本集。这些材料将用于训练模型识别不同个体之间的差异特征[^3]。 #### 面部检测提取技术 在实际应用过程中,系统会自动扫描每一帧画面以定位人位置,并将其裁剪出来形成独立图片序列供后续分析使用。此步骤可能涉及到OpenCV等计算机视觉库的帮助[^4]。 ```python import cv2 def detect_faces(image_path): face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml') img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5) return [(x,y,w,h) for (x,y,w,h) in faces] ``` #### 模型训练环节 当所有前期准备工作完成后,就可以着手构建神经网络结构并对之实施监督学习了。这里推荐参考DeepFake等相关研究领域内的开源项目案例来进行实践探索[^5]。 #### 后期合成优化 最后一步是对生成的新面孔进行无缝融合至原始场景之中,确保最终输出具备高度真实感。这一部分往往需要借助于GANs(Generative Adversarial Networks)之类高别的AI框架才能达成理想效果[^6]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值