大家好,我是小王同学!!!
本文给大家分享一个新的ControlNet类型:Instant ID,翻译为身份标识,核心能力是由国内的小红书团队开发的。这个ControlNet可以提取人的面部信息,然后在生成的人物图片中使用此面部。实测效果完全可以代替Lora模型,也就是我们不用再费劲吧啦的训练人物形象Lora了,只需要人物的一张正面照片,就可以直接出图了。
效果演示
下图是官方的演示效果,左边是使用 Instant ID 生成的图片,右边是参考图片。
这个 ControlNet 相比 Roop 等换脸模型,也有更好的效果。
原理
先看左侧上部:Instant ID 通过 IP-Adapter 技术提取参考图片中的面部特征信息,然后通过交叉注意力(Cross Atttention)将面部特征信息传递给 UNet,用于在反向扩散过程中影响人脸的生成。
再看左侧下部:这是 Instant ID 在描述自己的模型训练过程,它会使用大量的人脸特征进行训练,最终训练好的模型会应用到图片生成中。
最后看右侧:通常情况下,提供给 UNet 的交叉注意力来源是文本提示词,但是文本很难精确的表达一个人的面部特征,所以才搞出来 Instant ID的方案。
使用方法
有多种使用方法,这里介绍两种:
(相关插件及安装包文末可自行扫描获取)
不过这个在线体验有额度限制,如果触发额度限制,可以换个本地的外网IP再试下。
- 在 Stable Diffusion WebUI 中使用
在 WebUI 中可以方便的集成更多能力,不过安装起来有些麻烦,感兴趣的同学可以继续阅读本文后续部分。
WebUI中安装Instant ID
使用AutoDL镜像
我已经在 AutoDL 的镜像中添加了这个 ControlNet,创建 WebUI 实例的时候选择下边这个镜像就行了。
手动安装
升级ControlNet到最新版本
Stable Diffusion WebUI 的 ControlNet 插件地址:(相关插件及安装包文末可自行扫描获取),下载最新版本,然后更新到 WebUI 的插件目录 extensions 中。
安装成功后,重启 WebUI,在 ControlNet 单元的 Control Type 中就可以看到这个新类型了,Instant ID自带两个预处理器,不过模型还需要自行下载安装。如下图所示:
安装模型
首先需要下载两个 ControlNet 模型,然后把这两个模型放到 ControlNet 的模型目录,默认是:stable-diffusion-webui/extensions/sd-webui-controlnet/models。
抱脸下载地址:https://huggingface.co/Aitrepreneur/InstantiDA1111/tree/main
网盘下载地址:https://pan.baidu.com/s/1nSYabIpMSE0AZHpOwAfwAw?pwd=eip5 内含多个ControlNet模型,本文只需要下图中的两个。
这个 ControlNet 还会用到 InsightFace,我们也需要把相关模型安装起来,默认放到这里:stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/insightface/models/antelopev2
抱脸下载地址:https://huggingface.co/Aitrepreneur/InstantID-Controlnet/tree/main/models/antelopev2
网盘下载地址: https://pan.baidu.com/s/123o_DzLtNY1bFhOtbcVtJQ?pwd=s7y4
WebUI中使用Instant ID
Instant ID 目前只支持SDXL,所以大模型必须选择XL模型,提示词和反向提示词简单写写就行了。
根据Github上的讨论,宽度和高度不要使用1024,否则会出现难以消除的水印文字。
有用户提出采样步数不要设置的太高,如果出图效果不好,可以调低点试试。
提示词引导系数要设置的小一点,这个没有固定值,可能不同模型的选择不一样,建议3-5吧。
InstantID 需要使用两个ControlNet单元,第一个单元用于提取面部特征,需要上传一张人脸参考图,预处理选择 instant_id_face_embedding,模型选择 ip-adpater_instant_id-sdxl。
第2个ControlNet单元,还是Instant ID类型的,用于提取脸部姿态,可以上传一张不同的人脸照片,生成的图片会参考这张图片中人脸的位置,但是不会复刻人物的姿势,这和InstantX的演示有差距。这里我们使用同一张图,预处理器选择 instant_id_face_keypoints, 模型选择 control_instant_id_sdxl。注意控制模式选择“以ControlNet为主”,否则生成的图片笔触会比较粗。
我们还可以选择不同的风格模版,这里选择一个线稿风格,最终生成效果如下图所示:
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】