视频地址
应用:无人驾驶汽车、人像分割、智能遥感、医疗影像分析
语义分割 | 实例分割 | 全景分割 |
---|---|---|
仅考虑cls | 不同实体,不考虑背景 | 不同实体,考虑背景 |
语义分割的基本思路
按颜色分割 不同物体颜色相近,物体内包含多种颜色
逐像素分类 滑窗 效率低下
所以复用卷积计算 全连接层要求固定输入大小
深度学习下的语义分割模型
3维为分3类
网络输出是越来越小的,升采样恢复原图分辨率
- 双线性差值(卷积核实现等价效果)
- 转置卷积
用细节换语义信息,使用多层级特征(FCN)
UNet2015(传统网络受感受野限制,无法使用上下文信息)
PSPNet 多尺度池化
3个改进点
- 使用空洞卷积解决网络中的下采样问题
下采样会丢失信息,可将池化层和卷积中的步长去掉,但特征图变大,学习参数增加,空洞卷积既要增大感受野又要少学习参数 - 使用条件随机场CRF作为后处理手段,精细化分割图
仅鼓励在原图边界处产生类别变化 - 使用多尺度的空洞卷积(ASPP模块)捕捉上下文信息
分割模型的评估方法
IOU交并比
实践MMSeg
实例分割在MMDet中
语义分割在MMSeg中