【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds

project：https://github.com/InstantID/InstantID
单位：小红书，北大

理解

很有意义的一篇文章，关注于人脸身份信息的保持来控制包含人物的图像生成；通过人脸识别网络的嵌入来保证身份一致性和细节，面部粗糙关键点过controlnet保持空间pose；支持非常丰富的下游任务

问题：

1. 是否需要6千万的数据，数据小一点会怎么样呢？

摘要

1. 现有的基于 ID 嵌入的方法，虽然只需要一个前向推理，但面临挑战：它们要么需要对众多模型参数进行广泛的微调，缺乏与社区预训练模型的兼容性，要么无法保持高人脸保真度
2. 为了解决这些限制，我们引入了 InstantID，这是一种强大的基于扩散模型的解决方案。我们的即插即用模块擅长仅使用单个面部图像处理各种风格的图像个性化，同时确保高保真度
3. 为此，我们设计了一种新的IdentityNet，通过施加强语义和弱的空间条件，将人脸和地标图像与文本提示相结合，引导图像生成
4. InstantID 展示了卓越的性能和效率，证明了在身份保存至关重要的实际应用中非常有益。

Introduction

1. 心有文生图大模型发展的焦点是个性化和定制的生成，试图根据一个或多个参考图像创建风格、主题或字符ID一致的图像。
2. 挑战：是否准确保留了人类受试者的复杂身份细节
3. 尽管增加文生图模型的方法controllnet、T2Iadapter、Uni-Controlnet等方法层出不穷，生成的图像与参考的保真度仍然只有部分
4. 介绍现有方法不足，如Dreambooth、Textual Inversion、LORA等需要针对特定ID进行单独训练；或轻量级适配器用于推理，如Ipadapter使用交叉注意力注入图片信息
5. 引入一种新的方法(InstantID)，专注于即时身份保持图像合成。
   • 引入一个简单的即插即用模块来弥合高保真度和效率之间的差距，使其能够熟练地使用单个面部图像以任何风格处理图像个性化，同时保持高保真度。
   • 为了从参考图像中保留人脸身份，我们设计了一种新的人脸编码器，通过添加强语义和弱