AI换脸技术发展迅速,roop,Reactor,ipadapter-faceid,photomaker,InstantID,换脸神器更新非常快。(文末可领取相关插件及学习资料)
对比lora训练,faceID,intantID,IPA,在人脸风格的迁移上,是目前AI换脸的主要方式。而最新出的InstantID,只需单个图像即可实现ID保留生成,相似度极高。
1.instantid特点
- InstantID,主要是使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。
InstantID 同时支持 WebUI 和 ComfyUI。
-
支持官方提供的8种风格,还可与PhotoMaker Styler通用。
-
项目地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID
2.安装 | Install
-
推荐使用 ComfyUI Manager管理器安装,安装完成后重启comfyui。
-
在 ComfyUI 管理器中搜索 「InstantID」,选择第一个安装。
注意事项:
-
使用InstantID需安装InsightFace 模型(所有换脸的插件都需要)
-
需使用 SDXL 系列模型
-
显存要求高,至少12G显存
3.风格 | Styles
- 支持官方提供的8种风格:
-
(No style)
-
Watercolor
-
Film Noir
-
Neon
-
Jungle
-
Mars
-
Vibrant Color
-
Snow
-
Line art
4.工作流 | workflow
作者提供了InstantID基础工作流和InstantID风格化工作流(增加了配合ArtGallery的艺术可视化工作流)
InstantID风格化工作流
InstantID基础工作流
4.模型下载
下载模型文件,放入 InstantID 的插件目录下:
\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints
-
下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet)
-
下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints)
-
下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中
controlnet模型:
https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel
ipadapter模型:
https://huggingface.co/InstantX/InstantID/tree/main
第一个加载器,修改成本地存放 controlnet 模型的目录,以下是我本地的路径:
F:\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoints\controlnet
第二个加载器是大模型,选择 SDXL 版本的模型。
第三个加载器是 ip-adapter 的加载器,以下是我本地的路径:
在提示词风格化节点中,可以选择不同的风格。
第一张图放人脸,第二张图控制脸部的位置。InstantID会将2个图像的人脸按照一定比例融合,生成新的图片。
InstantID风格化工作流说明:
工作流中多了一个可视化风格节点。
中间的模型加载器不用管,这里是默认去网上下载的,当然也可以把这个节点换成从本地模型库去取。
可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。第二个节点是艺术运动。
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取