低显存的福音!8G显存玩转InstantID(附整合包)

InstantID 是一种全新无需微调的最先进方法,它只需要单张图像,即可实现生成新图像的同时保留原图像中的人员身份信息,支持各种后续任务,例如人脸识别、人脸属性分析任务。该项目由小红书团队推出,一经开源就在Github上收获4k+star,连图灵奖得主Yann LeCun也对其表达了认可。

如上图所示,与之前爆火的秒鸭相机至少需要上传20张照片不同的是,InstantID只需一张自拍,即可完成瞬间变身。无论是古典油画的优雅,炫酷的赛博朋克,或是 3D 雕像的立体感,只要是你喜欢的风格,InstantID 都能轻松驾驭。

可惜的是,InstantID对硬件的要求也到了一个新的高度,在发布早期的时候,12G的显存也经常不够用,让大多数玩家只能看着眼馋。好在近日有开发者发布了一款ComfyUI插件,实现了ComfyUI对InstantID的原生支持,并且支持低显存模式,让8G卡也能轻松玩转InstantID工作流。

项目地址:https://github.com/cubiq/ComfyUI_InstantID

使用这个插件,要按照以下步骤:

  • 将仓库克隆到ComfyUI/custom_nodes/文件夹

  • 在python环境中,添加insightface、onnxruntime和onnxruntime-gpu

  • 下载模型:

    1. InsightFace模型,使用的是antelopev2,可以从https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/view?usp=sharing下载,解压至ComfyUI/models/insightface/models/antelopev2目录。

    2. InstantID的主模型,从https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true下载,放在ComfyUI/models/instantid目录。

    3. controlnet模型,从https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true下载,放在ComfyUI的controlnet目录

注意:stable diffusion的主模型目前只支持SDXL。

如果不想这么麻烦,也可以直接下载整合包,包含上面所描述的所有环境和模型,进入公众号Ryan聊AI,发送InstantID即可获取网盘链接。

完成安装,就可以执行run_nvidia_gpu.bat进行玩耍了,整合包里已经包含了一些示例工作流,点击加载按钮,选择插件安装目录下的examples/InstantID_basic.json,然后按照下图的参数,选择一张照片,就能生成一张漫画风格的自拍啦~

还在等什么呢,快来试试吧。更多高级用法,关注Ryan聊AI,持续为你更新。

附录:

  • 论文地址:https://arxiv.org/abs/2401.07519

  • InstantID 主页:https://instantid.github.io/

  • 18
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值