图像识别技术与应用学习总结①⑦

图像分割

图像分割：预测目标的轮廓。将不同的像素划分到不同的类别，非常细粒度的分类。

• 图像分割的应用场景

人像抠图，医学组织提取，遥感图像分析，自动驾驶，材料图像等。

• 图像分割的前景与背景

物体Things：可数前景目标(行人等)。
事物Stuff：不可数背景(天空，草地，路面)。

• 图像分割的三层境界

1.    语义分割：每一个像素必须只能属于一类，预测结果为掩膜。
2.    实例分割：只预测前景目标的类别属性以及边框，个体ID，每一个像素可以属于多个ID。
3.    全景分割：每个像素点分配一个语义类别和一个唯一的实例ID。

• 图像分割的数据集

1.    VOC数据集：PASCAL VOC挑战赛(The PASCAL Visual Object Classes)是一个世界级的计算机视觉挑战赛。
2.    Cityscape数据集：50个城市在春夏秋三个季节不同时间段不同场景、背景的街景图。
3.    COCO数据集：以场景理解为目标，特别选取比较复杂的日常场景。

• 语义分割的评估指标

· Pixel Accuracy：逐像素分类精度。
· Mean Pixel Accuracy：每个类内被正确分类像素数的比例。

· IoU：前景目标交并比。
· mIoU：每个类的IoU平均值。
· FWIoU：根据每个类出现的概率给mIoU计算权重。

• 图像分割网络的两个模块

卷积模块：提取特征。
转置卷积
· 卷积
    输入4*4，
 
    输出2*2，
 
    卷积核3*3，
 
 
· 反卷积模块：上采样恢复到原图尺度。
· 反卷积
    输入2*2，
 
    输出4*4，
 
    卷积核3*3，
 
 

  

• 典型图像分割网络

· 卷积网络：编码器
· 反卷积网络：解码器