SD必备知识系列三：PuLID面部特征一致性风格保持与迁移，轻松搞定私人写真摄影，风格迁移模型评比

已于 2024-12-28 11:44:44 修改
阅读量1.9k 收藏 23
点赞数 25
分类专栏： AI绘画 SD教程 文章标签： 人工智能 AI作画 stable diffusion AI绘画 SD安装
于 2024-08-19 13:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59162248/article/details/141253827
版权

PuLID：面部特征一致性风格保持与迁移

图片

随着文生图模型的技术发展成熟，在绘图中一直存在强述求：如何保持图像的身份特征风格一致性迁移或风格多样化变化?在这一技术领域也出现了越来越多的技术模型和组件实现身份特征的保持和迁移。今天文章内容主要就国内大厂字节跳动和小红书开源的几个主流技术评比：PuLID、IP-Adapter以及InstantId。

感兴趣同学可参考之前文章：

另外，本文中使用的绘图模型是来自哩布平台上发布了国产写实摄影模型：墨幽人造人XL。该模型是一款可出图商用的写实摄影模型。该模型在人物写实真实度方面有着优秀的图像质量，以及优秀的光影视觉冲击，丰富且富有感染力的情绪表达，不论是在影棚的时尚大片、真实感的户外摄影、自然的手机随拍、或是艺术写真方面均有不错的绘图表现。

图片

*墨幽人造人XL*：https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b

PuLID模型简介

PuLID是最新字节开源的，因此本文主要介绍PuLID在SD-WebUI中安装指南。关于IP-Adapter以及InstantId请参考社区介绍。

PuLID是一种类似于ip-adapter的方法，用于保持面部身份特征和风格迁移模型。PuLID同时使用了insightface嵌入和CLIP嵌入，这与ip-adapter faceid plus模型的做法类似。不过，在将图像传递给CLIP之前，PuLID会使用facexlib进行额外的步骤，即将面部从背景环境中遮罩出来。PuLID还使用了Eva CLIP代替了普通的CLIP。在attn overrides方面，PuLID也做了一些比IPAdapter做了更多的事情，比如它对张量进行了零填充，并添加到隐藏状态的正交性中。更多PuLID介绍参考之前文章：字节PuLID：高效身份ID特征定制，ComfyUI使用指南、字节PuLID：高效身份ID特征定制新方法，无需复杂微调仅一张图实现

图片

PuLID安装指南

01. 安装sd-webui-controlnet-evaclip扩展

PuLID使用了evaclip嵌入和insightface嵌入作为proj模块输入。因此，为了使用这个特性，需要安装sd-webui-controlnet-evaclip插件，插件地址为：https://github.com/huchenlei/sd-webui-controlnet-evaclip。

图片

02. 模型下载

同时需要下载对应模型并放置在目录stable-diffusion-webui/models/ControlNet下，可以在线下载：https://huggingface.co/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors。

在这里需要注意facexlib和evaclip涉及的对应模型会首次运行时候自动下载。但在笔者测试中并未自动下载，经过调试插件代码和手动下载解决。

  • • 需要下载模型detection_Resnet50_Final.pth、parsing_parsenet.pth、parsing_bisenet.pth、并放置在目录 /stable-diffusion-webui/models/GFPGAN/ 下，下载地址为：https://huggingface.co/damaimai/parsing_parsenet.pth/tree/main
  • • 原则上这会利用huggingface包自动下载，不用急着手动下载，在上面问题解决后可以再次运行查看是否自动下载。模型为：QuanSun/EVA-CLIP放置 /stable-diffusion-webui/extensions/sd-webui-controlnet-evaclip/models，需要使用huggingface_cli下载整个repo：https://huggingface.co/QuanSun/EVA-CLIP/tree/main

03. ControlNet单元设置

在ControlNet中需要设置一个额外的单选组选择PuLID模式，请注意升级ControlNet插件版本（请确保版本>=1.449）。

图片

04. PuLID体验

绘图配置
  • • 绘图模型：***墨幽人造人XL*模型
  • • 迭代步数：30步
  • • 采样器：DPM++ 2M Karras
  • • CFG scale: 7
  • 本文使用到模型下载地址（AIGC绘图问题可文末加群交流）：
  • • **墨幽人造人XL**模型** ：https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b
  • • add-detail-xl LoRA模型：https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa
  • • DetailedEyes_XL LoRA模型：https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53
masterpiece painting, buildings in the backdrop, kaleidoscope, lilac orange blue cream fuchsia bright vivid gradient colors, the scene is cinematic, (1girl:1.2), portrait,, emotional realism, double exposure, watercolor ink pencil, graded wash, color layering, magic realism, figurative painting, intricate motifs, organic tracery, pol,  <lora:SDXL Detail:1> <lora:DetailedEyes_XL_v3.0:1>
01. Fidelity风格效果

图片

图片

02. Style风格效果

图片

在两种模式之间仅存在微笑差别，笔者并未看出明显差异。

02. 多输入图像
SDWebUI配置

图片

输出效果

图片

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

注意：与InstantId相比，PuLID需要设置更强的提示才能使输出风格化。

多风格迁移模型评比

绘图配置和提示语等设置同上一小节，这里不在累述。

IP-Adapter配置

提示语中增加ip-adapter-faceid LoRA触发词：

图片

IPA插件配置：

图片

InstantId配置

InstantId插件则需要设置两个CN单元配置启用，并且请确保单元配置顺序：

CN单元0配置：

图片

CN单元1配置：

图片

输出效果对比

PuLIDInstantIdIP-Adapter
图片图片图片
图片图片图片

从从上面两组对比图中，能够显著看出面部特征保持ip-adapter是最弱的，PuLId和InstantId都是保持一致性比较好的，但是能够明显看出InstantId的风格更偏全景艺术风，而PuLId是面部特征更偏向输入图像，这导致也会受输入图的清晰度影响输出效果。但InstantId还存在问题是需要的显存资源较大。ip-adapter是不仅面识特征保持别更重要是作为特征提取重要基础设施应用广泛。因此，评估效果各有优势，各视场景选择格式技术框架是最优方案。

另外，因为PuLId使用了facexlib和eva clip，其资源利用效率不是很高。同时由于采用了正交计算，PuLId在推理过程中比普通的ip-adapter会慢不少。可能这也是官方演示时使用SDXL lightning的原因。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

如何保证每次画出的都同一张人脸？AI绘画Stable Diffusion的Reference only教程
A13531922961的博客
04-28 2662
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Comfy UI最新IP Adapter Plus 保持人物一致性！SD场景与服装可控！
ice829的博客
05-17 2848
IP Adapter 是 SD 生态中一个非常强大的风格迁移插件，可以将一张图像的风格复制到新生成的图像中，有效提升我们的出图效率，目前在设计领域有广泛应用。
SD必备知识：PuLID面部特征一致性风格保持与迁移，轻松搞定私人写真摄影
Misdirection_XG的博客
12-06 1318
PuLID是最新字节开源的，因此本文主要介绍PuLID在SD-WebUI中安装指南。关于以及InstantId请参考社区介绍。PuLID是一种类似于ip-adapter的方法，用于保持面部身份特征和风格迁移模型。PuLID同时使用了嵌入和CLIP嵌入，这与模型的做法类似。不过，在将图像传递给CLIP之前，PuLID会使用facexlib进行额外的步骤，即将面部从背景环境中遮罩出来。PuLID还使用了Eva CLIP代替了普通的CLIP。在方面，PuLID也做了一些比IPAdapter。
【AIGC 教程】 SD WebUI 教程：使用 ControlNet 精细控制生成结果
最新发布
m0_64365896的博客
03-05 775
ControlNet 是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入（如边缘映射、姿势识别等），可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。在 Stable Diffusion 的基础上使用 ControlNet 就相当于给 Stable Diffusion 加了一个插件用于引导 AI 模型按照输入的条件来生成图，从而实现更精细的生成控制。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5112
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Midjourney与Stable Diffusion全面对比，我该学谁？
xiaolinyui的博客
05-09 941
2023年人工智能快速发展，AIGC工具层出不穷，作为目前市场最主流的两款软件Midjourney与Stable Diffusion深受大家关注，那么他们到底有什么区别，我们该选择哪一款呢？
Coursera吴恩达《卷积神经网络》课程笔记（4）-- 人脸识别与神经风格迁移
热门推荐
红色石头的专栏
01-15 1万+
我的CSDN博客地址：红色石头的专栏 我的知乎主页：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 欢迎大家关注我！共同学习，共同进步！ 《Convolutional Neural Networks》是Andrw Ng深度学...
画风迁移_换脸新潮流：BIGO风靡全球的人脸风格迁移技术
weixin_42427302的博客
01-04 871
引1974年，我国的考古学家在陕西省西安市发掘出了兵马俑，并被其神态各异惟妙惟肖的面部表情所震撼。同年，一篇名为《A Parametric Model for Human Faces》论文迈出了人脸属性编辑这一领域的第一步。而半个世纪后的今天，BIGO自主研发的FaceMagic的换脸技术让你随心所欲地化身为兵马俑，世界名画，或者电影里的超级英雄, 产品一推出即风靡全球。BIGO为了把这项创新技术...
PuLID: 图像背景、光线、风格等均保持高度一致图像生成工具，附本地一键包
AI人工智能影像技术博客
05-13 856
这一技术通过对比对齐的方式，实现了Pure和Lightning ID的自定义，既保持了高度的ID保真度，又有效减少了对原始模型行为的干扰。PuLID的发布将是该领域的重要进步，为用户提供了更多选择和灵活性，推动技术的创新和发展。如果你想脑洞大开，让张三和李四两个人合体，或者用爸爸和妈妈的照片，给自己生一个“弟弟”或“妹妹”，也可以上传父母的照片，勾选ID混合这个选项，如下图。接下来就是提示词，可以先用默认的提示词和反向提示词，如果精通SD等AI绘画软件，可以自行发挥创造，自己写提示词，开阔新的玩法。
当前最好的Stable Diffusion角色特征固定工具来了！字节提出PuLID，用于文本生成图像领域，实现了高度的ID保真度与可编辑性。
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
05-16 642
我们提出了一种新的无需调优的文本到图像生成ID自定义方法PuLID (Pure and Lightning ID customization)。通过将一个标准扩散分支与一个LightningT2I分支结合起来，PuLID引入了对比对准损耗和精确ID损耗，最大限度地减少了对原始模型的干扰，并确保了高ID保真度。实验表明，PuLID在ID保真度和可编辑性方面都取得了较好的性能。PuLID的另一个吸引人的特性是，插入ID前后的图像元素(例如背景、光照、构图和样式)尽可能保持一致。
SD必备知识AI绘画，轻松搞定私人写真摄影，SDWebUI使用指南
阿道夫的博客
07-02 1264
IP-Adapter是一种有效且轻量级的适配器，可以被用于实现预训练的文本到图像扩散模型的图像提示功能。IP-Adapter的关键设计是解耦的交叉注意力机制，能夠将文本特征和图像特征的交叉注意力层分离。试验结果表明，在仅有2200万参数的IP-Adapter能够实现与微调后的图像提示模型相当甚至更好的性能。由于IP-Adapter采用的是冻结预训练的扩散模型，因此IP-Adapter不仅可以泛化到从同一基础模型微调的其他自定义模型，还可以使用现有的可控工具实现可控生成。
图像风格迁移cvpr2020_今日 Paper | MaskGAN；深度人脸识别；人体姿态估计；妆容迁移等...
weixin_29911569的博客
01-08 801
目录CurricularFace: 深度人脸识别的适应性课程学习损失MaskGAN：多样和交互的面部图像操作结合检测和跟踪的视频人体姿态估计通过解纠缠表示的局部面部妆容迁移基于自动生成的训练数据进行大规模事件抽取学习 CurricularFace: 深度人脸识别的适应性课程学习损失论文名称：CurricularFace: Adaptive Curriculum Learning Loss f...
[C4W4] Convolutional Neural Networks - Special applications: Face recognition & Neural style transfe...
weixin_30750335的博客
07-09 271
第四周：Special applications: Face recognition & Neural style transfer 什么是人脸识别？（What is face recognition?） 欢迎来到第四周，即这门课卷积神经网络课程的最后一周。到目前为止，你学了很多卷积神经网络的知识。我这周准备向你展示一些重要的卷积神经网络的特殊应用，我们将从人脸识别开始，之后讲神经风格迁移...
Ng深度学习-卷积神经网络基础-人脸识别与神经风格迁移
DoloresFinch的博客
11-29 321
人脸识别 首先简单介绍一下人脸验证（face verification）和人脸识别（face recognition）的区别。 人脸验证：输入一张人脸图片，验证输出与模板是否为同一人，即一对一问题。 人脸识别：输入一张人脸图片，验证输出是否为K个模板中的某一个，即一对多问题。 一般地，人脸识别比人脸验证更难一些。因为假设人脸验证系统的错误率是1%，那么在人脸识别中，输出分别与K个模板都进行比较，则相应的错误率就会增加，约K%。模板个数越多，错误率越大一些。 One Shot Learning O
如何用AI绘画Stable Diffusion控制人物动作和姿势一致性？超强教程建议收藏！
A1353192296的博客
05-21 1214
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
探索未来图像定制的神器——PuLID
gitblog_00027的博客
06-11 473
探索未来图像定制的神器——PuLID 去发现同类优质开源项目:https://gitcode.com/ 在这个数字化时代，我们对于个性化和创新的需求日益增长，尤其是在图像生成领域。 PuLID（Pure and Lightning ID Customization via Contrastive Alignment）是一个崭新的开源项目，它为用户提供了一种纯粹且快速的方式来定制独一无二的图像。这个...
AI绘画专栏之换脸在SDXL中使用保持人脸一致性INSTANTID FACEID XADAPTER，comfyui
赵KK的博客
05-06 1481
尽管现有的从预训练模型直接微调的方法很有效，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控件不兼容，而现在可以集成到SD内使用，尽管现有的从预训练模型直接微调的方法很有效，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控件不兼容，而现在可以集成到SD内使用，模型下载链接https://pan.quark.cn/s/6096a0d47b50。模型下载链接https://pan.quark.cn/s/6096a0d47b50。INSTANTID教程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值