OpenMMLab AI实战营 学习笔记 DAY(六)-- 语义分割和实例分割原理讲解
本次课程是由子豪兄(B站 同济子豪兄)进行讲解,以及后续的答疑。课程于B站上搜索OpenMMLab 在其官网首页可以查看。 具体链接如下,https://www.bilibili.com/video/BV1s24y1W7Xa/?spm_id_from=333.337.search-card.all.click&vd_source=dc30f12500ae4d963ddc6f21932f3d67。
语义分割
任务: 将图像按照物体的类别分割成不同的区域
等价于: 对每个像素进行分类
应用:无人驾驶汽车–环境感知
自动驾驶车辆,会将行人,其他车辆,行车道,人行道、交通标志、房屋、草地与树木等等按照类别在图像中分割出来,从而辅助车辆对道路的情况进行识别与认知。
应用:人像分割
实时替换视频的背景,在智慧互娱和智能会议场景中,可以通过这种方法增加交互的多样性
应用:医疗影像分析
通过图像分割技术,辅助进行医疗诊断。如右图,识别脑部肿瘤异物的位置。
语义分割 vs 实例分割 vs 全景分割
语义分割的基本思路
基本思路:按颜色分割
基本思路:逐像素分类
复用卷积计算
全连接层的卷积化
全卷积网络 Fully Convolutional Network 2015
预测图的升采样
语义分割算法总结
语义分割模型的评估
比较预测与真值
基于交并集的评估指标
MMSegmentation 的项目结构
分割模型的模块化设计
MMSegmentation 将分割模型统一拆解为如下模块,方便用户根据自己的需求进行组装和扩展。
分割模型的配置文件
主干网络的配置
主干网络输入图像,输出多层次的特征图
主解码头的配置
主解码头从特征图预测分割图
辅助解码头的配置
辅助解码头鼓励学习更好的低层特征,不用于最终的预测
数据集配置
数据处理流水线
常用训练策略
MMSegmentation 默认的学习率策略仅在总迭代次数上有所差别