[ComfyUI]Facebook最强人体分割大师Sapiens 吊打SAM2，高达27种切割部位选择

AI绘画成神之路

已于 2024-12-28 19:12:28 修改

阅读量1.8k

点赞数 28

分类专栏： Stable Diffusion 文章标签： facebook memcached 数据库 AIGC comfyui

于 2024-11-15 11:04:16 首次发布

本文链接：https://blog.csdn.net/m0_71745903/article/details/143789820

版权

Stable Diffusion 专栏收录该内容

64 篇文章

订阅专栏

最近又出来个很强的人体分割大师Sapiens，多种部位遮罩获取，真的强，必须安装体验一下。

01 介绍

今天介绍的这个厉害的工具叫Sapiens，是Meta Reality Labs (FaceBook 实验室) 推出的。

Sapiens 为以人为中心的视觉任务提供了一套全面的套件（例如，2D 姿势(pose)、部分分割(seg)、深度(depth)、法线(normal)等）。该模型系列针对 3 亿张人类图像进行了预训练，并对无约束条件表现出出色的泛化能力。这些模型还专为提取高分辨率特征而设计，已在 1024 x 1024 图像分辨率和 16 像素补丁大小下进行了本机训练。

官方给出的几组效果图：

目前我主要看中里面的seg分割这块，里面包含了27种切割部位，很详细。

官方也给出了一些在线测试地址，感兴趣可以去玩玩：

论文：

https://arxiv.org/abs/2408.12569

原项目：

https://github.com/facebookresearch/sapiens

Demo：

https://huggingface.co/spaces/facebook/sapiens-seg https://huggingface.co/spaces/facebook/sapiens-pose https://huggingface.co/spaces/facebook/sapiens-depth https://huggingface.co/spaces/facebook/sapiens-normal

02 安装使用

2.1 插件安装

目前Sapiens已经集成到ComfyUI了，在节点管理器上搜 Sapiens 即可。

2.2、模型下载

这个插件模型还挺多，涉及seg、pose、depth和normal这四种，每个模型都有不同的规格，有0.3b,0.6b,1b,2b等，不过官方推荐用1b或者2b，具体看各位自己配置是否支持，完整的下载列表如下，我网盘提供的是1b和2b的。

• seg 身体部位分割
○ https://hf-mirror.com/facebook/sapiens-seg-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-seg-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-seg-1b-torchscript
• pose 2D 姿势估计
○ https://hf-mirror.com/facebook/sapiens-pose-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-pose-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-pose-1b-torchscript
• depth 深度估计
○ https://hf-mirror.com/facebook/sapiens-depth-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-1b-torchscript
○ https://hf-mirror.com/facebook/sapiens-depth-2b-torchscript
• normal 表面法线预测
○ https://hf-mirror.com/facebook/sapiens-normal-0.3b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-0.6b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-1b-torchscript
○ https://hf-mirror.com/facebook/sapiens-normal-2b-torchscript

还有一个yolo8m模型也要下载， yolo是pose必须的，官方的太复杂，不如yolo好用。

下载地址：

https://hf-mirror.com/Ultralytics/YOLOv8/tree/main

上面模型都下载好了后模型名称不要变动，统一放到 ComfyUI/models/sapiens/ 下面，格式如下，觉得自己下载麻烦的一会直接下载我提供的完整模型包即可。

03 使用介绍

核心节点就两个，如下图所示：

左边这个节点可以看到左边有seg、depth、normal、pose等选项，官方建议每次使用选一个就行，比如我想要提取头发遮罩，那就只选择seg这个模型即可，其他选项不用变动。

右边节点就两个选项需要变动

第一个是seg_select，里面有27种选项，必须要选择一项，表示要切割的部位

第二个是add_seg_index，简单的说这个选项就是对第一个选项的补充，有时候你想同时获取头发和脸的遮罩，那你第一个那边选择了头发，第二个这里输入脸部的索引值就行，有多个的话中间用逗号隔开。

可以用到的seg_select切割部位整整27个，后期还会继续增加：

完整工作流如下

接下来演示几个切割效果，还不错

切割头发：

切割头发和脸部

看到箭头这里没，就是额外选上了脸部

切割衣服

切割手+手臂

切割嘴唇

这有意思，这么小的部位也可以提取出来，这插件确实牛逼各位

姿势图：

这姿势图感觉怪怪的哈哈，这里注意，这时候图像要从pose_img这里拖出来，我之前忘了，一直用seg_img节点，导致看不到效果图，排查了好久。

深度图：

normal图：

最后我还和其他2个工具对比了下效果，还是Sapines效果最好，太棒了。

04 总结

以上就是Sapiens这个插件的介绍了，效果好用，值得下载使用。

如何学习Comfyui？

ComfyUI 和大家熟知的 WebUI 一样，都是 Stable Diffusion 的一种用户界面，一句话，一张图，随时随地创作任何内容。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的Comfyui资料包括Comfyui入门学习思维导图、商业级Comfyui工作流、视频教程、实战学习等录播视频免费分享出来。