对象分割技术在图像重绘上的运用

今年早些时候，Meta AI 发布了他们的新开源项目: Segment Anything Model（SAM) ，在计算机视觉社区引起了巨大的轰动。SAM 是一种快速分割系统，它擅长于对不熟悉的物体和图像进行零样本泛化，而不需要额外的训练。

在本教程中，我将演示如何结合使用 SAM 和 GroundingDINO 以及Stable Diffusion 来创建一个接受文本作为输入的pipeline，以便使用生成式 AI 执行图像inpainting和outpainting。

在演示之前，总体了解下我们的pipeline：

系统先使用Grounding DINO 根据输入的文本进行对象检测，然后将对象检测结果作为输入 传递给 Segment Everything 得到图像掩码（Mask），这些掩码结合文本prompts 作为Stable Diffusion的输入，由SD来进行图像的重绘。

为了让大家对上述流程更清楚的理解，先介绍下 SAM，从官方宣传片得知，它擅长识别图片中的多对象，包括背景：

https://huggingface.co/spaces/segments/panoptic-segment-anything

Huggingface 有个空间，可以来尝试SAM：

比如针对下面左边图，输入对象类别：car，bus，person

右边图就能够识别每种类型的对象，并用不同的颜色标记出来。

比如你只想看识别出来的car：

这里只看识别出来的person：

还有人眼都看不清的 bus：