InstantID

已于 2024-03-12 00:59:44 修改
阅读量386 收藏 3
点赞数 4
分类专栏： 鼠鼠的AI笔记 文章标签： 计算机视觉
于 2024-02-18 11:52:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013302570/article/details/136148228
版权

InstantID 成功的基础

  • 仅一张reference image
  • 通过自创的IdentityNet 来确保 image的high fidelity
    • 含有semantic & weak spatial conditions
  • 使用了面部的landmark
  • 使用了文字prompts
  • 使用了Stable Diffusion的模型 1.5 或者 也可以是 SDXL
  • ControlNet
  • IP-adpter 的prompts模式

用户测评

之前使用LORA的方式去训练专门的人物模型，靠，以为是最赞的方式了，但是后来发现还有更赞的，其实faceswap 就够赞的了，而且比SD更早的出现。确实LORA的经济效益不高，至少一个人物，从收集素材到训练完成，不ADHD的话，整个过程至少半小时。
嗯，很满意！速度灰常的快，但是整体流程感觉和Reactor类似，特别是codeformer 换脸那里。但是这个面部生成的效果更好，更自然贴合。
Guidance越小，生成的效果，个人越喜欢。测试了juggle的风格，如果guidance过大，整个画面会趋于橘色（饱和感）（具体原因不明）

Paper 里有意思的部分

  • CLIP Encoder 再牛批，但目前来说反而成为累赘。比如IP-Adapter
    • paper里说他们用了各种信息保证了脸部特征最大存留(Instant有自己的Image Encoder，不用CLIP了)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
EmoC001
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
InstantID：一张照片，无需训练，秒级个人写真生成
程序员深度学习
02-04 2906
通过文本提示词来编辑生成的图片，比如改变图像中人物的表情、背景或其他元素。也可以借助 ControlNet插件更加精准地控制图像的生成细节，实现个性化定制。
技术爆炸！AI一图换脸新王者，Instant ID保姆级安装与使用测评
A2421417624的博客
04-18 637
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds
weixin_43357695的博客
02-04 1951
现有的基于 ID 嵌入的方法，虽然只需要一个前向推理，但面临挑战：它们要么需要对众多模型参数进行广泛的微调，缺乏与社区预训练模型的兼容性，要么无法保持高人脸保真度为了解决这些限制，我们引入了 InstantID，这是一种强大的基于扩散模型的解决方案。我们的即插即用模块擅长仅使用单个面部图像处理各种风格的图像个性化，同时确保高保真度为此，我们设计了一种新的，通过施加强语义和弱的空间条件，将人脸和地标图像与文本提示相结合，引导图像生成。
InstantID彻底火了！这个来自中国的开源项目，被图灵奖得主 Yann LeCun 点赞
我爱计算机视觉
01-30 2174
关注公众号，发现CV技术之美就在上周，小红书推出 InstantID 项目，其创新性和高效性引起了广泛关注。开源后迅速在 GitHub 上收获 4000+ 星标，还得到了图灵奖得主 Yann LeCun 的认可。InstantID 是什么呢？简而言之，它是一个基于扩散模型的图像生成解决方案，能实现从单一参考图像到多样化风格化写真的快速生成。用户只需上传一张自拍，20 秒就能得到定制版 AI 写真。...
小红书开源「InstantID」，2024第一个爆火的Al写真项目，惊艳了！
Datawhale
02-02 209
Datawhale干货AI写真：InstantID，开源：小红书马斯克与郭德纲，一位是相声界的顶流，一位是科技界的大咖。想象一下，他们的形象融合，会是什么样？小红书最新推出的开源项目—— InstantID 让这种“跨界融合”成为可能。来瞧瞧，“马德纲”有惊艳到你吗？InstantID 是一个基于扩散模型的图像生成解决方案，能实现从单一参考图像到多样化风格化写真的快速生成。它能让自由地将两张...
【深度学习】换脸新科技，InstantID: Zero-shot Identity-Preserving Generation in Seconds
q742971636的博客
03-11 1579
InstantID旨在仅提供一个参考ID图像的情况下，从单个参考ID图像生成具有不同姿势或风格的定制图像，同时确保高保真度。图2提供了我们方法的概述。ID嵌入：捕获稳健的语义面部信息；轻量级调整模块：具有解耦的交叉注意力，方便使用图像作为视觉提示；：从参考面部图像中编码详细特征，并具有额外的空间控制。
[ComfyUI]AI换脸神器 InstantID， 保姆级安装与使用指南
最新发布
A2421417624的博客
04-29 1446
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
aliyun-mq-demo.zip
09-22
SpringBoot+消息队列RocketMQ(基于阿里云)，详见：https://blog.csdn.net/z1353095373/article/details/108660454
InstantID：用一张大头照开启个性化图像生成的新时代
nulifancuoAI的博客
01-29 869
InstantID的出现，不仅是技术上的一大飞跃，也为我们如何看待和利用AI技术提供了新的视角。它的开源性质进一步加强了这一技术的可达性和普及性，预示着个性化图像生成技术的新时代已经到来。随着技术的不断进步和创新，我们可以期待更多令人激动的发展和应用出现在这个领域。
ComfyUI 基础教程（十二）：AI换脸神器 InstantID ComfyUI， 保姆级安装与使用测评
细节控-AI先行者的博客
02-21 1133
AI换脸技术发展迅速，roop，Reactor，ipadapter-faceid，photomaker，InstantID，换脸神器更新非常快。对比lora训练，faceID，intantID，IPA，在人脸风格的迁移上，是目前AI换脸的主要方式。而最新出的InstantID，只需单个图像即可实现ID保留生成，相似度极高。
python 加速(1)
EmoC的博客
06-15 2497
因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。自己之前误入歧途，以为C++就能加速一切。
Whisper
EmoC的博客
11-30 1575
Whisper 代码详解
YOLO NAS note 1
EmoC的博客
05-18 1450
Yolo-Nas 的代码比YOLO v8 还恐怖。之前的YOLO数据可以通过：coco_detection_yolo_format_train， 和 coco_detection_yolo_format_val 自动转。
openCV的CUDA GPU 版本安装 （Ubuntu windows 通用）
EmoC的博客
10-22 1191
例子：/media/xxx/cozynest/anaconda3/envs/detection/lib/python3.9/site-packages/cv2/python-3.10。这里有可能会出现configure的文件找不到的错误，可以直接copy paste Python 版本的文件，根据缺失文件的名字添加。这样放的原因是我Ubuntu的Home容量不够多，导致我需要把这些东西放在另一个盘上，其次是这样安装比较干净。以下是Python3相关会填入的内容。2：下载后的两个包裹会放在以下结构。
Yolo v5 长方形 训练修改
EmoC的博客
04-25 1193
感谢，以下内容改自：http://t.csdn.cn/37m2w dataloaders.py # YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Dataloaders and dataset utils """ import contextlib import glob import hashlib import json import math import os import random import shutil import time from it
Towards Robust Blind Face Restoration with Codebook Lookup Transformer
EmoC的博客
01-18 953
这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。
Transformer for CV
EmoC的博客
11-29 945
Transformer 也不适用batch norm，Batch由GPU操作，但是一般的GPU顶多2个Batch，按照上一个内容，计算出12，这样的Batch size，对GPU来说为难了。对sequence的data不好，因为sequence的长度不一，那么batch norm用的mean 和 std 就不能很好的将每个feature的分布准确算出。而分的大块可能会错失细节信息。以上是数学里的计算方式，但是在代码里，以上步骤不好操作，因此，目前的GELU是通过sigmoid 或者 Tahn 估计出来的。
LLM Note 1
EmoC的博客
02-20 641
比如对一短视频做理解，他会重复输出“他穿着黑色衣服”，直觉认为可能是对视频做embbeding 时，抽到的帧都差不多，所以导致重复，基本上如果视频有8帧，那么类似的语句就会重复个7，8次。Token 确实比较影响model的效果，因此，怎么输出有效且准确的token，比较重要。Router 主要是将 Attention的输出，进行分配，Attention输出和FFN之间，不是全链接的关系。如果Token的数量在3-4左右，那么可以加速至少2倍，如果Token 数量在3~7，那么可以有更快的速度。
AutoEncoder anomaly detection
EmoC的博客
10-14 626
这里写目录标题Video anomaly detection and localization via Gaussian Mixture Fully Convolutional Variational Autoencoder (2020 June)使用了VAE用dynamic flow代替optical flowMore layers, more invariable使用Anomaly ScoreVideo anomaly detection with spatio-temporal dissociatio

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值