图像分割技术的应用

今天的内容为：图像分割技术与应用，以下是内容总结

 1. 图像分割概述

图像分割是指预测目标的轮廓，将不同的像素划分到不同的类别，属于非常细粒度的分类任务。其应用场景广泛，包括人像抠图、医学组织提取、遥感图像分析、自动驾驶、材料图像分析等。

 

     2. 图像分割的前景与背景

- 物体（Things） ：可数的前景目标，如行人、车辆等。

- 事物（Stuff） ：不可数的背景，如天空、草地、路面等。

 

     3. 图像分割的三层境界

- 语义分割（Semantic Segmentation） ：每个像素必须属于一个类别，预测结果为掩膜。

- 实例分割（Instance Segmentation） ：预测前景目标的类别属性、边框和个体ID，每个像素可以属于多个ID。

- 全景分割（Panoptic Segmentation） ：每个像素点分配一个语义类别和一个唯一的实例ID。

 

     4. 图像分割的数据集

- VOC数据集 ：PASCAL VOC挑战赛的数据集，包含4大类、20小类。VOC 2007有9963张图片和24640个目标，VOC 2012有23080张图片和54900个目标。从2007年开始引入了语义分割和实例分割的标注。

- Cityscape数据集 ：包含50个城市在春夏秋三个季节不同时间段、不同场景的街景图，共30个类别。包含5000张精细标注的图像（2975张训练图、500张验证图和1525张测试图）和20000张粗略标注的图像。

- COCO数据集 ：以场景理解为目标，选取复杂的日常场景，共91类，其中82类有超过5000个实例。

 

     5. 语义分割的评估指标

- Pixel Accuracy ：逐像素分类精度。

- Mean Pixel Accuracy ：每个类内被正确分类像素数的比例。

- IoU（交并比） ：前景目标的交并比。

- mIoU ：每个类的IoU平均值。

- FWIoU ：根据每个类出现的概率给mIoU计算权重。

 

     6. 图像分割网络的两个模块

- 卷积模块 ：用于提取特征。

- 反卷积模块 ：用于上采样，恢复到原图尺度。

 

     7. 转置卷积

- 卷积 ：输入4 4，输出2 2，卷积核3 3。

- 反卷积 ：输入2 2，输出4 4，卷积核3 3。

- 卷积与反卷积 ：转置关系（transposed）。

 

     8. 典型图像分割网络

- 卷积网络 ：编码器部分，负责特征提取。

- 反卷积网络：解码器部分，负责上采样和恢复图像。

 

     9. 总结

图像分割技术在计算机视觉领域有着广泛的应用，涵盖了从简单的语义分割到复杂的全景分割。通过使用不同的数据集和评估指标，可以有效地训练和评估图像分割模型。卷积和反卷积模块是图像分割网络的核心组成部分，分别负责特征提取和图像恢复。