Instant ID 是 controlnet 比较新的一个模型,主要作用也是固定人物的面部特征。它可以仅通过一张图片进行完美换脸,可能是目前最强的脸部迁移模型。
Instant ID 技术在多个领域展现了其独特的优势,主要表现在以下几个方面:
1. 作为一种创新的ID保留方法,Instant ID 有效地解决了训练效率与ID保真度之间的矛盾。
2. 它具有可插拔性,与目前社区内的文生图基础模型、LoRAs、ControlNets等完全兼容,可以在推理过程中零成本地保持人物ID属性。同时,Instant ID 还保持了良好的文本编辑能力,使得ID可以平滑地嵌入到各种风格中。无论是添加装饰、改变发色还是更换套装,都能轻松应对。
3. 实验结果证明,Instant ID 不仅超越了目前基于单张图片特征进行嵌入的方法(如IP-Adapter-FaceID),而且在特定场景下与ROOP、LoRAs等方法相比也毫不逊色,且成本更低。
更详细的原理可以阅读Instant ID团队在 github 的解析:https://github.com/InstantID/InstantID
步骤一:使用前准备
如果你的 controlnet 没有 Instant ID 你需要到秋叶启动包更新一下扩展
此外,你还需要下载controlnet模型到本地的controlnet模型文件夹中
模型下载地址:
-
ipadapter model
-
ControlNet model
文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴下方扫码自行获取。
下载完还要改名字分别修改成 ip-adapter_instant_id_sdxl 和control_instant_id_sdxl,然后再放入这个文件夹中
步骤二:图生图设置
【大模型】必须上 SDXL 模型,因为目前 Instant ID 只支持 SDXL
我这里使用的是 DreamShaper XL V2.1 Turbo
该模型可以在 C 站上下载,访问不了的可以扫描右边二维码加入群聊获取
【采样方法】 DreamShaper XL V2.1 Turbo 模型必须使用 DPM++ SDE Karras
【采样步数】8
【尺寸】768*1024
【CFG 提示词相关性】大模型作者建议将CFG设置为 2,以获得最佳效果。
【重绘幅度】0.6
具体参数可以参考下图,局部重绘要把脸涂上
步骤三:ControlNet 设置
你的第一个单元必须是 embedding 和 ip-adapter 的组合
第一个单元是获取人脸特征的模型
你的第二个单元必须是 keypoints 和 control-instant-id-sdxl 的组合
这个单元是作为替换模版,在图生图中你可以不上传图像,sd 会自动使用你上面图生图上传的图像作为模板
步骤四:点击生成
以上参数设置好后点击生成。效果非常的逼真,除了边缘有一些瑕疵,可以调整蒙版边缘模糊度改善
注意事项
-
参数不是固定的,需要参考你的大模型提示,在我使用的DreamShaper XL V2.1 Turbo大模型是按照以上参数设置
-
尽量选择高清的面部素材可以达到更好的换脸效果
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
