【AIGC】基于文生图的人脸ID定制化方法

已于 2024-07-26 15:33:46 修改
阅读量578 收藏 18
点赞数 17
分类专栏： paper-reading 文章标签： 深度学习 人工智能
于 2024-07-26 15:30:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37706246/article/details/140699702
版权

主要介绍IP-Adapter(FaceID), InstantID, PuLID三篇paper

名词解释

  • ID customization: As a special category of customized text-to-image(T2I) generation, identity(ID) customization allow users to adapt pre-trained T2I diffusion models to align with their personalized ID
    在这里插入图片描述

  • tuning-based:为每一个ID定制化需要10+min的微调,会导致个性化处理与生成成本较大(如: dreambooth, lora)

  • tuning-free:使用1个encoder(clip图像编码器)提取ID特征, 然后采用特征的方法将特征嵌入到基本扩散模型中,比较高效。如：借助cross-attention层融合ID特征。

IP-Adapter

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
https://ip-adapter.github.io/

  • 方法
    使用图像信息作为prompt,通过设计合理的adapter结构的方式，将image prompt嵌入到预训练的文生图扩散模型中,指导最终结果的生成。
    IP-Adapter包含2部分:
    1)Image Encoder: (eg, clip_vision-model)提取全局图像特征，然后将图像特征通过解耦的cross-attention融入U-net中；
    2)Projection network: 使用长度为N的linear层将图像embedding映射为特征序列+ Layer Norm
    仅训练新添加的模块(红色部分),sd冻住。
    cross-attention1: text-prompt， cross-attention2: image-prompt

在这里插入图片描述

  • IP-Adapter(FaceID)
    Image-prompt:全局图像—>人脸图像
    Encoder: ImageEncoder–>Face Encoder
    在这里插入图片描述
  • Decoupled Cross-Attention: 将cross-attention层分为图像特征+文本特征
    1)原始sd中, cross-attention中的K，V源于文本特征, Q为上层U-net block的输出,见式3
    2)借鉴原始sd中, 文本特征融入U-net的方式，将图像特征嵌入，见式4
    3)不同于将二者特征先直接concat的方法+送入cross-attention中,而是将解耦后的直接相加,更高效，见式(5)

在这里插入图片描述

  • 指标
    在这里插入图片描述

InstantID

InstantID: Zero-shot Identity-Preserving Generation in Seconds
https://instantid.github.io/

  • 方法
    主要分为3部分,1-2部分与IP-AdapterFaceID方法相同:
    1)ID embedding的提取
    2)轻量级的解耦adapter
    3)IdtentityNet:从参考人脸图像中编码细节特征,作为额外的弱空间控制
    4)仅支持SDXL版本
    在这里插入图片描述
  • IdentityNet
    1)在attention之前,直接concat图像+文本的prompt,不利于模型的细粒度控制
    2)将解耦后的att输出相加,更倾向于弱化文本token的控制
    3)依托ControlNet的形式,设计IdentityNet，control-img=参考人脸的关键点map图, 文本输入替换为FaceEmbedding,增强与ID相关信息的控制
    4)缺点：参考人脸的landmark的控制信息,限制了生成人脸的多样性(角度,表情等)
    在这里插入图片描述
  • 论文效果
    在这里插入图片描述

PuLID

PuLID: Pure and Lightning ID Customization via Contrastive Alignment
https://github.com/ToTheBeginning/PuLID

  • 动机
    1)ID信息的插入扰乱了原始模型的表现力
    a) an ideal ID insertion should alter only ID-related aspects, such as face, hairstyle, and skin color, while image elements not directly associated with the specific identity, such as background, lighting, composition, and style, should be consistent with the behavior of the original model.
    b) after the ID insertion, it should still retain the ability of the original T2I model to follow prompts.
    2)缺乏ID保真度
  • 方法
    基于有/无ID嵌入构建对比路径,并且引入对齐loss, 指导模型在不干扰原始模型的表达力下如何插入ID控制信息

在这里插入图片描述
基于对比对齐的非concat的ID嵌入方法：设计语义对齐+布局对齐的损失函数
在这里插入图片描述
在这里插入图片描述
优化ID Loss: 通过计算引人ID-emb之后生成图像的与参考图像剑人脸ID相似度
论文中采用的multi-stage的训练方法也值得借鉴
在这里插入图片描述

  • 论文效果
    在这里插入图片描述

总结

在这里插入图片描述

Dolly_DL
关注
专栏目录
2023中国AIGC文生图产业自皮书.pdf
08-02
2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国AIGC文生图产业自皮书.pdf2023中国...
中国AIGC产业联盟_无界AI：中国AIGC文生图产业自皮书.pdf
07-02
### 中国AIGC文生图产业白皮书核心知识点解析 #### 一、AIGC文生图技术概述 - **定义与概念**：AIGC（Artificial Intelligence Generated Content），即人工智能生成内容，是一种利用人工智能技术自动生成文本、...
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 1935
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
SD必备知识：PuLID面部特征一致性风格保持与迁移，轻松搞定私人写真摄影
2401_85725028的博客
06-20 1877
PuLID是最新字节开源的，因此本文主要介绍PuLID在SD-WebUI中安装指南。关于IP-Adapter以及InstantId请参考社区介绍。PuLID是一种类似于ip-adapter的方法，用于保持面部身份特征和风格迁移模型。PuLID同时使用了嵌入和CLIP嵌入，这与模型的做法类似。不过，在将图像传递给CLIP之前，PuLID会使用facexlib进行额外的步骤，即将面部从背景环境中遮罩出来。PuLID还使用了Eva CLIP代替了普通的CLIP。在方面，PuLID也做了一些比IPAdapter。
PuLID——自由风格换脸转绘
嘟嘟的博客
05-19 1109
PuLID——人物一致性风格转绘webui离线整合包
【AIGC】photomaker:基于多个图像ID嵌入的定制化逼真人物照片
qq_44091004的博客
01-23 1346
通过一张图或者多张图像输入，该文方法可以记住人物ID,改变属性、改变风格和混合人物ID的效果。效果SOTA。类似的工作有ipadapter,lora,Dreambooth.这些方法不是消耗算例和时间就是效果不明显，不具有泛化性。最近的一些文生图工作在结合文本提示词的情况下合成真人图片已经取得了巨大的进展。这些工作不能同时满足高效，高的ID置信度和文本控制的自由性。我们的工作PhotoMaker是一个有效的个性化文生图生成方法。可以输入任意张ID图像然后通过堆叠来保留ID信息。
#Datawhale AI夏令营第4期#AIGC方向 文生图 Task2
fzyz123的博客
08-14 1399
Task2任务：对baseline的代码有一个更加细致的理解，然后学习如何借助AI来提升我们的自学习能力.
【AIGC】PULID:对比对齐的ID定制化技术
qq_44091004的博客
06-04 1204
Pulid对比对齐的ID定制化技术
Datawhale X 魔搭 AI夏令营第四期 | AIGC文生图——进阶上分 实战优化 Task3笔记
ttrr27的博客
08-17 877
Hi，大家好，我是半亩花海。在上一个任务中，我们逐行精读baseline，掌握了利用AI工具提升学习效率，并制作了话剧连环画，初步了解Secpter WebUI。今天，我们将深入探讨微调的基本原理及其参数，旨在优化效果。同时，介绍文生图工作流平台ComfyUI，帮助实现更高度定制的文生图生成，进一步提升我们的创作和应用能力。
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记
Songyuhang0516的博客
08-16 726
GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task3笔记
2401_82557688的博客
08-16 857
ComfyUI是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。GUI 是 “Graphical User Interface”（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。
中国AIGC文生图产业白皮书
09-11
中国AIGC文生图产业白皮书.
【机器学习】从零开始理解深度学习——揭开神经网络的神秘面纱
擅长将自己的感受、想法、知识通俗地表达出来，会点前后端开发、自动化测试、性能测试、爬虫。将来可能学硬件、AI。但一定会写实用的脚本。
09-06 2800
深度学习是机器学习的一个重要分支，通过多层神经网络处理复杂数据，广泛应用于图像识别、自然语言处理等领域。我们将在这篇文章中揭开深度学习和神经网络的神秘面纱。
深度学习中常见的损失函数
最新发布
技术宅学长的博客
09-12 705
不同的损失函数适用于不同的任务，回归任务中通常使用均方误差（MSE）和绝对误差（MAE），分类任务中使用交叉熵损失，物体检测和分割中使用IoU和Dice损失，而生成模型中使用对抗损失和重构损失。根据具体任务的特点选择合适的损失函数对于模型的性能有很大影响。
基于深度学习的零售柜商品识别系统实战思路
a871923942的博客
09-11 1204
YOLOv5是YOLO算法的一个实现版本，它在速度和准确性之间取得了很好的平衡。现在我们的数据已经准备好了，是时候训练我们的模型了。为了训练模型，我们需要为每张图像创建一个对应的标签文件，指明图像中物体的位置和类别。这段代码添加了一个新的标签来显示视频流，一个按钮来开始/停止实时识别，以及相应的方法来捕获和处理视频帧。这段代码创建了一个基本的窗口，包含一个图像显示区域、一个上传按钮、一个识别按钮和一个结果显示标签。为了提高系统的响应性，特别是在处理大图像或视频流时，我们可以使用多线程来进行识别。
秃姐学AI系列之：实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
m0_62415132的博客
09-11 774
在这里，我们选择预训练的ResNet-34模型，我们只需重复使用此模型的输出层（即提取的特征）的输入。然后，我们可以用一个可以训练的小型自定义输出网络替换原始输出层，例如堆叠两个完全连接的图层。因此，我们可以使用 微调中讨论的方法在完整ImageNet数据集上选择预训练的模型，然后使用该模型提取图像特征，以便将其输入到定制的小规模输出网络中。在计算损失之前，我们首先获取预训练模型的输出层的输入，即提取的特征。的处理一样，即从原始训练集中拆分验证集，然后将图像移动到按标签分组的子文件夹中。
深度学习时遇到tensor([0.], device=‘cuda:0‘)等输出
weixin_53036073的博客
09-11 438
很有可能是更改了ultralytics文件夹中的某一个文件导致的，我以为是因为我更新了几个模块导致的出错，尝试了很多方法比如关掉详细输出修改模块以及将环境恢复至原始状态，但是都没有解决。其实以前运行也遇到过类似问题，换了我师姐给的ultralytics文件夹后就解决了，也不知道啥原理。所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！
chatgpt 文生图
09-05
ChatGPT 文生图是指利用自然语言处理技术生成与文本描述相匹配的图像的能力。它通常结合了深度学习模型，特别是生成式对抗网络（GANs）或条件随机场（CRF），能够理解和解析用户提供的文本指令，然后创造出相应的视觉内容。这种技术可以用于艺术创作、插图辅助、虚拟现实等多个领域，帮助用户快速获得可视化表达。然而，由于我是基于文本交互的AI，并不具备直接生成图片的功能，如果你需要制作文生图，一般会借助相关的在线工具或专门的AI绘画软件来实现。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值