AI换脸技术发展迅速,roop,Reactor,ipadapter-
faceid,photomaker,InstantID,换脸神器更新非常快。(文末可领取相关插件及学习资料)
对比lora训练,faceID,intantID,IPA,在人脸风格的迁移上,是目前AI换脸的主要方式。而最新出的InstantID,只需单个图像即可实现ID保留生成,相似度极高。
1.instantid特点
- InstantID,主要是使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。
InstantID 同时支持 WebUI 和 ComfyUI。
-
支持官方提供的8种风格,还可与PhotoMaker Styler通用。
-
项目地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID
2.安装 | Install
-
推荐使用 ComfyUI Manager管理器安装,安装完成后重启comfyui。
-
在 ComfyUI 管理器中搜索 「InstantID」,选择第一个安装。
注意事项:
-
使用InstantID需安装InsightFace 模型(所有换脸的插件都需要)
-
需使用 SDXL 系列模型
-
显存要求高,至少12G显存
3.风格 | Styles
- 支持官方提供的8种风格:
-
(No style)
-
Watercolor
-
Film Noir
-
Neon
-
Jungle
-
Mars
-
Vibrant Color
-
Snow
-
Line art
4.工作流 | workflow
作者提供了InstantID基础工作流和InstantID风格化工作流(增加了配合ArtGallery的艺术可视化工作流)
InstantID风格化工作流
InstantID基础工作流
4.模型下载
下载模型文件,放入 InstantID 的插件目录下:
\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints
-
下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet)
-
下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints)
-
下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中
controlnet模型:
https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel
ipadapter模型:
https://huggingface.co/InstantX/InstantID/tree/main
第一个加载器,修改成本地存放 controlnet 模型的目录,以下是我本地的路径:
F:\ComfyUI-aki-v1.1\custom_nodes\ComfyUI-InstantID\checkpoints\controlnet
第二个加载器是大模型,选择 SDXL 版本的模型。
第三个加载器是 ip-adapter 的加载器,以下是我本地的路径:
在提示词风格化节点中,可以选择不同的风格。
第一张图放人脸,第二张图控制脸部的位置。InstantID会将2个图像的人脸按照一定比例融合,生成新的图片。
InstantID风格化工作流说明:
工作流中多了一个可视化风格节点。
中间的模型加载器不用管,这里是默认去网上下载的,当然也可以把这个节点换成从本地模型库去取。
可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。第二个节点是艺术运动。
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。
这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。
有需要的朋友,可以长按下方二维码,免费领取!
AIGC所有方向的学习路线思维导图
这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
AIGC工具库
AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
有需要的朋友,可以点击下方卡片免费领取!
精品AIGC学习书籍手册
书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。
AI绘画视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。
有需要的朋友,可以长按下方二维码,免费领取!