Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

最近AI换脸又火起来了, 小红书 InstantX 团队发布了一款最新的换脸技术 InstantID

和之前的主流的训练 lora 换脸不同,InstantID 只需要上传一张图就可以实现换脸以及姿势替换!

一 InstantID 介绍

InstantID 主要分为了三部分

  • ID Embedding:通过预训练的面部识别模型,将语义人脸特征提取为 Face Embedding。这种嵌入包含了丰富的语义信息,如面部特征、表情、年龄等,为后续的图像生成提供了坚实的基础。

  • Image Adapter:引入轻量级的适配模块,将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制,图像和文本能够独立地影响生成过程,同时保持身份信息的同时允许用户对图像风格进行精细控制。

  • IdentityNet:小红书提出的 IdentityNet 是 InstantID 的核心部分。它利用强语义条件和弱空间条件编码参考面部图像的复杂特征。生成过程完全由 Face Embedding 引导,无需文本信息。只更新新添加的模块,而保持预先训练的文本到图像模型冻结,以确保灵活性

概括来说:

  1. InstantID 使用 ID Embedding 提取用户输入的提示词和面部图像的关键信息。

  2. 接着 Image Adapter 将这些信息进行融合

  3. IdentityNet将这些融合后的信息生成新的图像

下面介绍的是使用 Stable Diffusion 如果集成使用 InstantID

目前只支持 SDXL 模型,controlNet 需要升级到V1.1.440版本

二 使用步骤

模型下载

Instant ID提供了两个 ControlNet 模型,考虑到大家的网络原因,我直接放在了网盘,直接后台回复 模型 获取下载链接

  • ip-adapter_instant_id_sdxl.bin

  • majicmixRealistic_v7.safetensors

下载完之后放在你的 {A1111_root}/models/ControlNet 目录下,重启 webui 后在 ControlNet 页面可以看到 InstantId 这个选项 (如果找不到这个选项,需要升级下自己 ControlNet 版本,然后重启即可)

参数配置

模型:DreamShaperXL (需要使用一个 sdxl 模型)  
提示词:a 20 yo woman,long hair,dark theme,soothing tones,muted colors,high contrast,(natural skin texture,hyperrealism,soft light,sharp),red background,simple background,  
尺寸:1024x1526  
步数:30  
CFG提示词引导系数:5  

ControlNet 配置

第一个ControlNet 上传包含全脸的图片,用于提取脸部信息其中:

  • 预处理器:instant_id_face_embedding

  • 模型:ip-adapter_instant_id_sdxl

  • 控制权重:(0.2-1)之间,越大,出图效果比较模糊,越小图片和原图的脸部就越不像

第二个ControlNet上传姿势图片,用于提取姿势信息注意:姿势图片可以和第一个ControlNet 不需要是同一个人其中:

  • 预处理器:instant_id_face_keypoints

  • 模型:control_instant_id_sdxl

  • 控制权重:(0.5-1)之间,越大,出图效果比较模糊,越小图片和原图的脸部就越不像

配置完后直接出图,看看效果,效果还是非常不错的

在换一个提示词,其它不变

提示词  
1girl,sweater,white background  

再换一个姿势背景,其它的不变

出图效果

由于我只使用了 DreamShaperXL 来出图,所以出图的风格比较单一,你可以可以使用任意类型的模型和姿势来出图,效果都杠杠的~

快快试玩起来~

这个是自研的AI工具集合小程序哦,免费试用

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
### InstantID 技术概述 InstantID 是一种基于深度学习的技术框架,旨在解决像处理领域中的风格迁移问题[^3]。它通过结合 ControlNet 和 IP-Adapter 的能力,在不损失目标对象(如人)身份特征的情况下完成高质量的风格转。 以下是有关 InstantID 技术的核心要点及其实现方式: --- ### 技术核心原理 InstantID 利用了两个关键技术模块来实现其功能:ControlNet 和 IP-Adapter。具体来说,ControlNet 提供了对扩散过程的空间控制能力,而 IP-Adapter 则专注于保留输入像的身份特征并迁移到新的艺术风格中。 为了更好地理解其实现机制,可以参考以下伪代码示例,该示例展示了如何利用这两个组件构建基本的工作流程: ```python from controlnet import ControlNetModel from ip_adapter import IPAdapterModel def apply_instant_id(input_image, style_reference): # 初始化 ControlNet 模型 control_net = ControlNetModel(pretrained_model_name_or_path="path_to_controlnet") # 加载 IP-Adapter 模型 ip_adapter = IPAdapterModel(pretrained_model_name_or_path="path_to_ip_adapter") # 使用 ControlNet 处理空间约束条件 spatial_constraints = control_net.extract_features(input_image) # 应用 IP-Adapter 进行身份特征提取与融合 identity_preserved_output = ip_adapter.transfer_style( input_image=input_image, style_reference=style_reference, constraints=spatial_constraints ) return identity_preserved_output ``` 上述代码片段说明了如何加载预训练模型并将它们组合起来以生成具有特定风格的目标像,同时保持原始主体的身份不变。 --- ### 安装指南 对于希望部署 InstantID 插件到本地环境或者集成至现有项目的开发者而言,官方提供了详细的安装指导文档[^1]。通常情况下,这涉及以下几个方面操作: 1. **依赖库准备**: 需要先安装 PyTorch 及其他必要的机器学习框架版本。 2. **下载权重文件**: 获取经过训练好的 ControlNet 和 IP-Adapter 权重参数。 3. **配置运行脚本**: 设置好 GPU 或 CPU 参数以便加速推理速度。 更具体的步骤可参照相关教程链接[^2]获取完整的实践案例分享。 --- ### 实际应用案例分析 当谈及 InstantID 在真实场景下的表现时,许多用户反馈指出此工具特别适合用于影视后期制作、虚拟角色设计等领域内的自动化任务执行上。例如,某位艺术家可能仅需提供一张素描草作为初始素材即可快速获得多种不同视觉效果的角色头像渲染成果。 此外值得注意的是,尽管当前版本已经具备相当高的可用度但仍存在一些局限性待改进之处——比如针对极端姿态变化下的人重建精度还有提升空间等问题亟待进一步研究探索。 ---
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值