Stable Diffusion InstantID 炸裂！只需要一张图就可以换脸｜详细教程

最新推荐文章于 2024-10-25 15:11:50 发布

程序员晓晓

最新推荐文章于 2024-10-25 15:11:50 发布

阅读量4.9k

点赞数 29

本文链接：https://blog.csdn.net/cxyxx12/article/details/136020083

版权

最近AI换脸又火起来了，小红书 InstantX 团队发布了一款最新的换脸技术 InstantID

和之前的主流的训练 lora 换脸不同，InstantID 只需要上传一张图就可以实现换脸以及姿势替换！

一 InstantID 介绍

InstantID 主要分为了三部分

ID Embedding：通过预训练的面部识别模型，将语义人脸特征提取为 Face Embedding。这种嵌入包含了丰富的语义信息，如面部特征、表情、年龄等，为后续的图像生成提供了坚实的基础。
Image Adapter：引入轻量级的适配模块，将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制，图像和文本能够独立地影响生成过程，同时保持身份信息的同时允许用户对图像风格进行精细控制。
IdentityNet：小红书提出的 IdentityNet 是 InstantID 的核心部分。它利用强语义条件和弱空间条件编码参考面部图像的复杂特征。生成过程完全由 Face Embedding 引导，无需文本信息。只更新新添加的模块，而保持预先训练的文本到图像模型冻结，以确保灵活性

概括来说：

InstantID 使用 ID Embedding 提取用户输入的提示词和面部图像的关键信息。
接着 Image Adapter 将这些信息进行融合
IdentityNet将这些融合后的信息生成新的图像

下面介绍的是使用 Stable Diffusion 如果集成使用 InstantID

目前只支持 SDXL 模型，controlNet 需要升级到V1.1.440版本

二使用步骤

模型下载

Instant ID提供了两个 ControlNet 模型，考虑到大家的网络原因，我直接放在了网盘，直接后台回复模型获取下载链接

ip-adapter_instant_id_sdxl.bin
majicmixRealistic_v7.safetensors

下载完之后放在你的 {A1111_root}/models/ControlNet 目录下，重启 webui 后在 ControlNet 页面可以看到 InstantId 这个选项（如果找不到这个选项，需要升级下自己 ControlNet 版本，然后重启即可）

参数配置

模型：DreamShaperXL （需要使用一个 sdxl 模型）  
提示词：a 20 yo woman,long hair,dark theme,soothing tones,muted colors,high contrast,(natural skin texture,hyperrealism,soft light,sharp),red background,simple background,  
尺寸：1024x1526  
步数：30  
CFG提示词引导系数：5

ControlNet 配置

第一个ControlNet 上传包含全脸的图片，用于提取脸部信息其中：

预处理器：instant_id_face_embedding
模型：ip-adapter_instant_id_sdxl
控制权重：（0.2-1）之间，越大，出图效果比较模糊，越小图片和原图的脸部就越不像

第二个ControlNet上传姿势图片，用于提取姿势信息注意：姿势图片可以和第一个ControlNet 不需要是同一个人其中：

预处理器：instant_id_face_keypoints
模型：control_instant_id_sdxl
控制权重：（0.5-1）之间，越大，出图效果比较模糊，越小图片和原图的脸部就越不像

配置完后直接出图，看看效果，效果还是非常不错的

在换一个提示词，其它不变

提示词  
1girl,sweater,white background

再换一个姿势背景，其它的不变

出图效果

由于我只使用了 DreamShaperXL 来出图，所以出图的风格比较单一，你可以可以使用任意类型的模型和姿势来出图，效果都杠杠的～

快快试玩起来~

这个是自研的AI工具集合小程序哦，免费试用

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述