语义分割、实例分割、全景分割？这些基本概念别再搞混了！

点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达

背景介绍

    在计算机视觉中，术语“图像分割”或简称“分割”是指根据某些标准将图像分成像素组。

    分割算法将图像作为输入并输出区域（或片段）的集合，这些区域（或片段）可以表示为：

A. 轮廓集合，如下图所示：

B. 一个掩码（灰度或颜色），其中每个段被分配一个唯一的灰度值或颜色来识别它。如下图所示：

什么是超像素

    当我们根据颜色、纹理或其他低级基元对像素进行分组时，我们将这些感知组称为超像素——Ren和 Malik (2003)推广的一个术语。

    上图中使用动画显示了超像素算法的输出。请注意，分割算法只是将具有相似颜色和纹理的像素分组。它不是试图将同一对象的各个部分组合在一起。

什么是语义分割

    在语义分割中，目标是为图像中的每个像素分配一个标签（汽车、建筑物、人、道路、人行道、天空、树木等）。

    上图 显示了语义分割的结果。掩码中的人用红色像素表示，草为浅绿色，树木为深绿色，天空为蓝色。
    我们可以通过简单地检查该像素的掩码颜色是否为红色来判断哪些像素属于“人”类，但我们不能说两个红色的掩码像素属于同一个人还是不同的人。

什么是实例分割

    实例分割是一个与目标检测密切相关的概念。但是，与对象检测不同，输出是包含对象的掩码（或轮廓）而不是边界框。与语义分割不同，我们不会标记图像中的每个像素；我们只对寻找特定对象的边界感兴趣。

    上图显示了我们用Mask R-CNN的实例分割算法的示例输出。我们看到每个人的面具颜色不同，因此我们可以将它们区分开来。然而，并不是每个像素都有与之关联的类标签。

什么是全景分割

    全景分割是语义分割和实例分割的结合。每个像素都被分配了一个类（例如人），但是如果一个类有多个实例，我们就知道哪个像素属于该类的哪个实例。

    如上图所示，每个像素都有一个不同的颜色编码标签。例如，天空被编码为蓝色，树木被编码为深绿色，草被编码为浅绿色，人们被染成黄色、红色和紫色的不同部分。黄色和红色都指向同一个类【人】，但指向同一个类的不同实例。我们可以通过查看蒙版颜色来区分不同的人。

参考链接：https://learnopencv.com/image-segmentation/

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~