计算机视觉中的五大任务

---

参考资料

 人工智能中图像分类、目标检测、语义分割和实例分割等任务是什么？

 图像分类、目标检测、语义分割、实例分割等计算机视觉方向基本概念

---

前言

 近年来，计算机视觉及其相关领域发展十分迅速，相关技术已经被应用到人类生产和生活的各个领域。我们耳熟能详的任务有人脸识别、步态识别、虹膜识别、车辆检测以及医学图像处理等。 实际上，计算机视觉本身包含众多的研究方向，本文仅仅介绍下面几个互相关联的任务：

• 图像分类：Image Classification
• 语义分割：Semantic Segmentation
• 目标检测：Object Detection
• 实例分割：Instance Segmentation
• 全景分割：Panoptic Segmentation

---

 下图展示了图像分类、语义分割、目标检测、实例分割四种任务：

• 图像分类：判别图中物体是什么，比如是猫还是狗；
• 语义分割：对图像进行像素级分类，预测每个像素属于的类别，不区分个体；
• 目标检测：寻找图像中的物体并进行定位；
• 实例分割：定位图中每个物体，并进行像素级标注，区分不同个体；

---

一、图像分类（Object Classification）

（1）概念：

 图像分类任务目的是判断图像中包含物体的类别，如果期望判别多种物体则称为多目标分类。
 下图中含有多种物体，分类任务的目标可以是判断图片中是否含有“狗”。

（2）常用算法：KNN、SVM、BP 神经网络、CNN 和迁移学习；

（3）常用数据集：ImageNet、MNIST、Caltech 101；

---

二、语义分割（Semantic Segmentation）

（1）概念：
 语义分割任务需要对图像中所有像素点进行分类，将相同类别的像素归为相同的标签（常常采用相同的像素点表示），但是同一物体的不同实例不需要单独分割出来。

 语义分割只能判断类别，无法区分个体。

（2）常用算法：FCN、U-Net、SegNet

（3）常用数据集：PASCAL VOL、MS COCO、CItyscapes

---

三、目标检测（Object Detection）

 如果项目的需求是精确的定位出图像中某一物体类别信息和所在位置，则应该选择目标检测算法。基于深度学习的目标检测算法主要分为单阶段（one-stage） 和 两阶段（two-stage） 两种，单阶段算法的速度较快，两阶段算法的精度较高（总体上）。

（2）常用算法：R-CNN（速度慢，过程繁琐，训练所需空间大）、Faster R-CNN（比前者更准确、快速、简便，但还是不够快，不够简洁）和YOLO的目标检测的算法（速度快，泛化能力强，但精度低，小目标和邻近目标检测效果差，比Fast R-CNN定位误差大一些）

（3）常用数据集：PASCAL VOL、MS COCO、ImageNet

---

四、实例分割（Instance Segmentation）

 相比于语义分割，实例分割不仅需要将图像中所有像素进行分类，还需要区分相同类别中不同个体。比如，语义分割只需要将下图中的所有人的像素进行归类，而实例分割需要将人这一类中单独的个体进行像素分类。

 其实就是目标检测和语义分割的结合。相对目标检测的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割需要标注出图上同一物体的不同个体

（2）常用算法：Mask R-CNN、Fast-CNN、DeepMask

（3）常用数据集：PASCAL VOL、MS COCO、CItyscapes

---

五、全景分割（Panoptic Segmentation）

 全景分割是语义分割和实例分割的结合，即要对所有目标都检测出来，又要区分出同个类别中的不同实例。

 实例分割只对图像中的目标进行检测和按像素分割，区分不同实例（使用不同颜色）；

 全景分割是对图中的所有物体包括背景（全景）都要进行检测和分割，区分不同实例（使用不同颜色）

（2）常用算法：Mask R-CNN、DeeperLab、Baseline、UPSNet

（3）常用数据集：Cityscapes、ADE20k、Mapillary Vistas、COCO