语义分割
1.介绍
任务: 将图像按照物体的类别分割成不同的区域
等价于: 对每个像素进行分类
应用:
1、无人驾驶汽车:自动驾驶车辆,会将行人,其他车辆,行车道,人行道、交通标志、房屋、草地与树木等按照类别在图像中分割出来,从而辅助车辆对道路的情况进行识别与认知。
2、人像分割:实时替换视频的背景。
3、智能遥感:分辨地表物体的类别,通过右侧分割之后的图像可以看到,红色的部分属于湖泊水流。通过智能遥感能够监测不同季节地表水域的变化,从而辅助农业生产,以及旱灾洪灾的预测等等。
4、医疗影像分析:通过图像分割技术,辅助进行医疗诊断。
比较
语义分割:仅考虑像素的类别,不分割同一类的不同实体。
实例分割:分割不同的实体,仅考虑前景物体。
全景分割:背景仅考虑类别,前景需要区分实体。
2.算法
• 语义分割的基本思路(按颜色或者逐像素分割)
• 深度学习下的语义分割模型
• 全卷积网络(用卷积取代全连接层,可以使输入大小不受限制)
• 空洞卷积与 DeepLab 模型(图像分类模型中的下采样层使输出尺寸变小,可以在不增加参数的情况下增大感受野,以解决这个问题)
• 上下文信息与 PSPNet 模型(图像周围的内容(也称上下文)可以帮助我们做出更准确的判断。)
• 分割模型的评估方法