一键换脸Roop与InstantID插件深入分析

07

一键换脸Roop与InstantID插件

目录

⊙Roop插件介绍与使用

⊙InstantID插件介绍与使用

⊙Roop插件与InstantID插件对比

对于Stable Diffusion想生成指定人物面部的图像,可能需要复杂的lora炼丹操作,但是这个过程过于复杂与耗时,而一键换脸插件Roop与InstantID则可以快速生成指定人物面部的图像,大大降低换脸的使用门槛

Roop插件

Stable Diffusion的Roop插件是一款强大的换脸工具,支持在不进行大量训练的情况下,轻松实现脸部替换

安装步骤

Roop插件的安装需要依赖其他环境,安装过程会比较复杂

1.启动Stable Diffusion WebUI并进入“扩展Extensions”标签,在“从URL安装”标签中,粘贴一下地址:https://github.com/s0md3v/sd-webui-roop,或者是在下载页面搜索“Roop”,也可以直接下载

2. 安装成功后,重启WebUI会出现Roop功能页

3. 插件的正确使用,还需要下载其环境依赖,在Windows系统上,下载并安装Visual Studio,同时确保在安装过程中选择安装Python和C++包

4. 下载模型依赖,进入到stable-diffusion-webui目录下,在打开的dos界面里面,运行命令 pip install insightface==0.7.3,就会自动开始安装insightface

5. 下载对应模型inswapper_128.onnx(https://huggingface.co/henryruhs/roop/resolve/main/inswapper_128.onnx),并放入到<webui_dir>/models/roop/下

6. 如果觉得上述配置过于复杂,可以考虑最新的一键部署安装包,已经将整个环境都配置好了,直接就可以使用,不需要再进行额外的配置(文末扫码即可获取SD最新整合包)

插件的使用

1. 将图像拖入 Roop 扩展面板

2. 选中复选框Enable以“启用”Roop

3. 从恢复脸部(Restore Face)选项中点击“CodeFormer”

4. 创建正面和负面提示

5. 点击“生成”

最佳实践注意事项

1. 确保照片中的脸部不被头发或配饰等物体遮挡

2. 如果希望生成更新清晰的面部,可以通过图生图,将重绘度设置为0.1,并且通过tile进行细节修复

InstantID插件

InstantID插件是Stable Diffusion中的一款功能强大的换脸工具,它能够通过一张图片实现人物的换脸,同时保持人物特征的一致性

插件的安装

1. 首先将controlnet升级到最新的版本,最好是在V1.1.440版本及以上

2. 下载InstantID的IP-adapter模型

通过下载地址:https://huggingface.co/InstantX/InstantID/blob/main/ip-adapter.bin,将下载的文件重命名为ip-adapter_instant_id_sdxl.bin

3. 下载 InstantID ControlNet模型

通过下载地址:https://huggingface.co/InstantX/InstantID/blob/main/ControlNetModel/diffusion_pytorch_model.safetensors,将下载的文件重命名为control_instant_id_sdxl.safetensors

4. 将上面下载下来的2个文件都放在<webui_dir>/models/ControlNet 文件夹目录下

5. 重启WebUI

InstantID插件在SD 1.5中的使用

使用InstantID模型时需要注意一些事项:

1. 大模型只能使用SDXL大模型

2. 提示词引导系数 (CFG Scale)要比通常设置的参数值低(3-5)

3. 需要使用2个ControlNet作为InstantID

4. 减少两个ControlNet的控制权重(Control Weights)和引导终止时机(Ending Control Steps)

1. 大模型的选择

使用Dreamshaper SDXL Turbo大模型。VAE大模型选择None

2. 提示词的编写

Prompt:watercolors portrait of a woman (happy laughing:1.15),masterpiece,artistry,

提示词:一个女人的水彩肖像(快乐地笑:1.15),杰作,艺术

Prompt:low quality, blurry, malformed, distorted

3. ControlNet插件InstantID模型设置

需要使用两种 InstantID 模型。换句话说,需要使用两个ControlNet

第一个ControlNet主要使用InsightFace来提取人物的面部特征,越清晰越好

第二个ControlNet用来识别上传的图像中的脸部的位置,也就是最终生成的图片的脸部位置。如果我们这里只上传一张脸部图片的话,生成的图片大概率也是一张脸部图片,上传一张半身照,大概率生成的也是一张半身照。建议跟第一个ControlNet使用相同的图片输入

4. 生成效果图

​​​

可以通过修改正向提示词更换图片中人物服装,背景等元素,生成不同风格的图片

Roop与InstantID的对比

InstantID似乎更侧重于提供一种高效、便捷的方式来生成保留人物身份特征的个性化图像;而Roop则更专注于实现高质量的换脸效果;

InstantID强调了其在身份保真度和训练效率之间的平衡,以及与现有预训练模型的兼容性;而Roop则更多地被描述为一个强大的AI换脸工具,能够在保持面部一致性的基础上进行图像的深度换脸

简单来说,InstantID可以保留人物身份的一些特征,去生成更多样化的图像;而Roop则专注于提供高质量的换脸效果
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
  • 14
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值