第6课 语义分割与MMSegmentation
1. 语义分割简介
- 任务:将图像按照物体的类别分割成不同的区域,等价于对每个像素进行分类
- 应用
- 无人驾驶
- 人像分割
- 智能遥感
- 医疗影像分析
- 语义分割 vs 实例分割 vs 全景分割
- 语义分割:仅考虑像素的类别,不分割同一类的不同实体
- 实例分割:分割不同的实体,仅考虑前景物体
- 全景分割:背景仅考虑类别,前景需要区分实体
- 基本思路
- 按颜色分割
- 逐像素分类
- 滑窗计算:效率底下
- 卷积计算
- 计算复用
- 全连接层要求固定大小输入
- 全连接层的卷积化
- 全卷积网络 2015
- 上采样
-
双线性插值


-
转置卷积:可学习的上采样层


-
基于多层级特征的上采样
- 结合低层次和高层次特征图
-
- 上采样
- UNet 2015
- 逐级融合高低层特征
2. 上下文信息
- PSPNet 2016

3. 空洞卷积与Deeplab系列算法
- Deeplab系列
- 使用空洞卷积解决网络中的下采样问题
- 图像分类模型中的下采样层使输入尺寸变小
- 如果将池化层和卷积中的步长去掉
- 可以减少下采样次数
- 特征图就会变大,需要对应增大卷积核,以维持相同的感受野,但会增加大量参数
- 使用空洞卷积(Dilated Convolution/Atrous Convolution),在不增加参数的情况下增大感受野

- 如果将池化层和卷积中的步长去掉
- 图像分类模型中的下采样层使输入尺寸变小
- 条件随机场
- 空间金字塔池化
- Encoder-Decoder
- 使用空洞卷积解决网络中的下采样问题
3. 语义分割模型的评估
- 基于交并集的评估指标
- accuracy
- iou
- dice
语义分割是将图像按物体类别分割的技术,涉及像素级别的分类。它区别于实例分割和全景分割。UNet通过结合高低层次特征进行上采样。PSPNet引入上下文信息,Deeplab系列利用空洞卷积扩大感受野。评估指标包括准确率、IoU和Dice系数。MMSegmentation是一个语义分割的研究平台。
1622

被折叠的 条评论
为什么被折叠?



