InstantID: Zero-shot Identity-Preserving Generation in Seconds

最新推荐文章于 2024-11-01 15:22:45 发布
最新推荐文章于 2024-11-01 15:22:45 发布
阅读量207 收藏 3
点赞数 3
分类专栏： Basic 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44994838/article/details/141556932
版权
  1. 问题引入
  • 目标是生成和reference图片相符合的图片，特别是人脸；
  • 现在基于微调模型的方法例如dreambooth，text inversion，lora等需要多张参考图片，且新的reference图片就需要重新进行微调；
  • 而ip-adapter这类的方法可以不用在inference的时候进行微调，但是依赖的是clip的image encoder，约束不强；
  • 本文的方法包含两部分条件，strong semantic and weak spatial conditions，也就是面部图片+landmark图片+text
  1. methods
    在这里插入图片描述
  • ID Embedding:使用人脸识别模型或者reid模型提取ID Embedding；
  • Image Adapter：和ip-adapter类似；
  • IdentityNet：controlnet，但是有一些变化，1）使用五个人脸关键点two for the eyes, one for the nose, and two for the mouth，2）cross attention只以id embedding作为条件，不包含text embedding；
  1. 实验
尔呦
关注
专栏目录
[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉导航
勿忘初心,方得始终
01-21 1442
低秩自适应（LoRA）经常被用来为新任务微调大型语言模型（LLMs）。本文研究了用于跨任务泛化的LoRA可组合性，并介绍了LoraHub，这是一个简单的框架，用于有目的地组装在不同给定任务上训练的LoRA模块，目标是在看不见的任务上实现适应性能。只需几个新任务的例子，LoraHub就可以流畅地组合多个LoRA模块，无需人工专业知识和假设。值得注意的是，合成既不需要额外的模型参数，也不需要梯度。
InstanceID:zero-shot identity-preserving generation in sconds
liguandong
03-28 936
人脸ID涉及更微妙的语义，需要更高标准的细节和保真度。这些特征可以作为文本嵌入的一般补充，但对于需要精确ID保留的任务来说，更强的语义和更高的保真度至关重要。Image Adapter. 在预训练文本到图像扩散模型中的图像提示能力显著增强了文本提示，特别是对于那些用文本难以描述的内容，采用了一个类似于IP-Adapter的策略用于图像提示，引入一个轻量级的adapter模块，解耦的cross-attention，以支持图像作为提示，不同之处在于我们使用ID嵌入作为图像提示，而不是粗略对准的CLIP嵌入。
【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds
weixin_43357695的博客
02-04 2528
现有的基于 ID 嵌入的方法，虽然只需要一个前向推理，但面临挑战：它们要么需要对众多模型参数进行广泛的微调，缺乏与社区预训练模型的兼容性，要么无法保持高人脸保真度为了解决这些限制，我们引入了 InstantID，这是一种强大的基于扩散模型的解决方案。我们的即插即用模块擅长仅使用单个面部图像处理各种风格的图像个性化，同时确保高保真度为此，我们设计了一种新的，通过施加强语义和弱的空间条件，将人脸和地标图像与文本提示相结合，引导图像生成。
InstantID Zero-shot Identity-Preserving Generation in Seconds
weixin_44966641的博客
03-13 537
InstantID = IP-Adapter + (Face) ControlNet 看效果人脸的保真度还是不错的。但是仅能聚焦在人脸，可以试着搞搞人物全身特征的定制化。
【论文+demo】小红书提出个性化真实人像生成方法（2024.01.15发布,声称效果好于PhotoMaker）
进一寸有一寸的欢喜
01-18 1779
本文的主要内容是介绍了一种名为InstantID的零样本身份保留生成方法，它可以在只有一个面部图像的情况下生成保留身份细节的个性化图像。这种方法通过引入一个轻量级的适配器模块和一个身份网络来实现强大的身份控制和面部细节保留。实验结果表明，InstantID在保持原始模型的文本编辑能力的同时，能够有效地保留身份细节，具有出色的性能和效率。
AI图片工具【InstantID】：单张照片妙生不同风格的图片
白帽阿叁的博客
02-17 1590
InstantID是一种基于扩散模型的强大解决方案。设计的即插即用模块仅使用单个面部图像就能熟练地处理各种风格的图像个性化，同时确保高保真度。它的核心是设计了一个新颖的 IdentityNet，通过强加语义和弱空间条件，将面部和地标图像与文本提示相结合来引导图像生成。
InstantID
whaosoft143ai的博客
01-20 946
一张照片，为深度学习巨头们定制人像图片,主题驱动的文本到图像生成，通常需要在多张包含该主题（如人物、风格）的数据集上进行训练，这类方法中的代表工作包括 DreamBooth、Textual Inversion、LoRAs 等，但这类方案因为需要更新整个网络或较长时间的定制化训练，往往无法很有效地兼容社区已有的模型，并无法在真实场景中快速且低成本应用。InstantID 是一个高效的、轻量级、可插拔的适配器，赋予预训练的文本到图像扩散模型以 ID 保存的能力。上图概述了我们的方法。whaosoft aiot
计算机视觉论文-2021-06-01
中科院AI算法工程师的博客
06-01 3525
本专栏是计算机视觉方向论文收集积累，时间：2021年5月1日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） ...
【零样本哈希】ZSH:Zero-Shot Hashing via Transferring Supervised Knowledge
x124612的博客
08-13 1199
ABSTRACT Keywords: zero-shot hashing; discrete hashing; supervised knowledge transfer; semantic alignment INTRODUCTION 哈希是一种能够有效实现大规模多媒体数据检索的索引技术。为了实现更短的检索时间和更少的计算开销，哈希技术将高维数据映射成紧凑的二进制编码。通过哈希编码，可以降低数据...
Cross-SRN:Structure-Preserving Super-Resolution Network with Cross Convolution
hbw136的博客
03-28 5714
一个使用了交叉卷积的超分网络
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors
m0_46312382的博客
10-19 445
为了解决这个问题，我们提出了一个两阶段的框架，包括从音频到关键点的生成和从关键点到视频的渲染过程。翻译模块在音频特征的指导下，以及来自被遮挡的目标脸部和已配准的参考图像的先验外观信息的指导下，从关键点合成完整的面部图像。翻译模块在音频特征的指导下，以及来自被遮挡的目标脸部和已配准的参考图像的先前外观信息的指导下，从关键点合成完整的面部图像。给定音频序列和初始输入视频，我们的目标是通过以逐帧方式完善输入视频的下半部分遮挡的脸部，生成一个与音频同步的说话人面部视频。与由关键点生成器生成的关键点结果提供的。
【零样本学习】Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
x124612的博客
10-30 941
Abstract 基于visual-semantic embedding的ZSL方法存在信息损失（semantic loss）的问题，在训练过程中，如果某些语义信息对分类的区分性不大，则会被丢弃，但是这些信息往往对识别unseen class很重要。为了避免semantic loss，我们提出 Semantics-Preserving Adversarial Embedding Network (...
深度学习-理论知识
qq_63961628的博客
10-31 408
深度学习（Deep Learning）是机器学习的一个子领域，它利用多层人工神经网络来模拟人脑的结构和功能，从而在复杂数据的分析、理解和生成上表现出色。深度学习是当前人工智能（AI）研究的核心技术之一，已广泛应用于图像识别、自然语言处理、自动驾驶等领域。下面，我将为你详细介绍深度学习的理论知识。
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
子午的博客
11-01 601
车辆车型识别，使用Python作为主要编程语言，通过收集多种车辆车型图像数据集，然后基于TensorFlow搭建卷积网络算法模型，并对数据集进行训练，最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面，实现用户上传一张车辆图片识别其类型。局部感知能力：通过卷积层，CNN能够捕捉图像的局部特征，如边缘和纹理信息，这使得它在处理图像时具有空间感知能力。参数共享：卷积层中的权重在整个输入图像上共享，减少了模型的参数数量，降低了过拟合的风险，并提高了训练效率。平移不变性。
深度学习基础知识-残差网络ResNet
最新发布
lqq
11-01 1166
是由何恺明等人于 2015 年提出的一种深层卷积神经网络结构。它在 ILSVRC 2015 比赛中取得了图像分类、检测等多个任务的突破性成果。ResNet 的主要创新在于引入了“残差连接”（Residual Connections），有效地解决了深层神经网络的梯度消失和梯度爆炸问题，使得网络可以堆叠更多层，显著提升模型的表达能力和分类效果。
《Keras3 深度学习初探：开启Keras3 深度学习之旅》
zheng_ruiguo的专栏
11-01 761
Keras3 以其易于使用、模块化和高度可扩展性等特点，为深度学习开发者提供了强大而灵活的工具。无论是新手还是经验丰富的专家，都能在 Keras3 中找到适合自己的开发方式，实现创新和突破。Keras3 作为一个强大的深度学习框架，具有巨大的发展潜力。在未来，它将继续为深度学习开发者提供强大的工具，推动深度学习技术的不断发展和应用。
【深度学习】DreamClear：提升图片分辨率的模型
q742971636的博客
11-01 149
DreamClear是由发布的一个开源项目，旨在通过高容量的模型和隐私安全的数据集构建方法，实现真实世界图像的高效修复。该项目在 NeurIPS 2024 上发表，论文题为《DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation》。
white-space: pre-wrap;word-break: break-all;
03-29
Together, these properties allow text to wrap and break at any point, including within words, while still preserving all white spaces and line breaks. This is useful for displaying code snippets, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值