comfyui通过遮罩信息裁剪图像，florence2+sam2进阶用法！

前言

我想举一反三的学习方法，放到comfyui的学习中同样适用！这样做的结果是会让我们更好地掌握和灵活运用每个节点！也会让我们在学习各大佬的工作流的时候更容易理解和改进，以至于让工作流更好的服务自己的项目！

开始进入正文，前天的文章我们讲了用florence2+sam detector来制作出图像遮罩！

工作流如下图！

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

今天我们学习一个更为精确提取图像遮罩的节点sam2segmentation,这个模型的优势是它的输入端不仅包含image\mask\而且还包含了BBOX和coordinates（坐标信息）这样能让我们在复杂的图像信息中更为精确的扣出来我们需要的元素！

为了方便理解我罗列出sam2中几个重要信息的作用：

1. BBOX 用于输入边界框数据。边界框可以帮助模型聚焦在图像的特定区域，从而提高分割的准确性。

2. MASK 可以输入一个初始的分割掩码（mask），这个掩码可以作为分割的起点或参考，从而帮助模型生成更准确的最终分割结果。

3. coordinates 其中coordinates_positive用于表示需要保留的区域，而 coordinates_negative用于表示需要排除的区域。这些坐标用于指导模型进行更精准的分割。

4.keep_model_loaded:这个选项用于控制模型在处理完成后是否保持加载状态。如果设置为 true，模型会在内存中保持加载状态，以加快后续处

**“卸载”**在这里确实意味着模型从内存中移除，不再占用内存资源。当下次需要使用模型时，系统会重新加载该模型。而不是真的卸载了模型！

5.individual_objects:这个选项用于控制是否将图像中的每个对象单独分割。如果设置为 true，模型会尝试将每个对象作为独立的分割对象；如果设置为 false，则会对整个图像进行整体分割。这个我不太懂其实，有知道的评论区留言求告知！

而图像的coordinates坐标信息需要通过florence2 coordinates这个节点传导，index指的是你要分割图像的具体那一部分，你可以输入要风格的数字！

现在我们想把人物中的武器抠出来，不是遮罩，而是真的抠出来，该怎么做呢？很简单只需要一个节点cut by mask翻译过来是通过mask裁剪图像！

我们看到cut by mask 这个节点中有一个image和mask输入，那么你是不是认为把sam2输出的mask直接连接过来即可！

我也是这么认为的，可是连接不上，为嘛？因为此mask非彼mask,接下来我们细细分析这是一个很重要的知识点！

mask 在图像处理工作流中可能以多种形式存在，通常是一种二值图像或者多通道图像，这句话的艺术翻译过来就是用0或者1或者0和1之间的数字表示，也就是黑、白、黑三种颜色，用于标识图像中的哪些区域需要处理或者忽略。也就是sam2输出的mask!

这个mask 的信息只包含了图像的位置信息，而不包含图像的像素信息和图像信息**！**

也就是说cut by mask这个mask的信息必须包含位置信息也需要包含图像的像素信息！知道这一点我们会想到可以用covert mask to image!

这样就把这个武器抠出来，其实这个理解好像有点抽象！你可以想象一个场景，你要把一幅画中的一个美女裁剪下来，你是不是通过美女得像素信息去判断美女得位置信息，去综合位置和美女得像素信息去裁剪得！

还有一个知识点，裁剪出的图像如上图！它是灰色的没有背景，我们称之为RGBA图像，这样的图像没有背景！如果是单纯的RGB模式那它的背景肯定是有颜色的！

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南
• 环境配置
• 脚本更新
• 后记
• …

二、ComfyUI基础入门

• 软件安装篇
• 插件安装篇
• …

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
• Stable diffusion 工作原理
• 工作流底层逻辑
• 必备插件补全
• …

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解
• 提词技巧精通
• 多模型节点串联
• …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
• 姿势
• …

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型
• SDXL风格化提示词
• SDXL工作流搭建
• …

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

营销七

如何训练LorA

对于很多刚学习AI绘画的小伙伴而言，想要提升、学习新技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料，这份网易的《Stable Diffusion LoRA模型训练指南》电子书，尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。

由于内容过多，下面以截图展示目录及部分内容，完整文档领取方式点击下方微信卡片，即可免费获取！

篇幅有限，这里就不一一展示了，有需要的朋友可以点击下方的卡片进行领取！