【OpenMMLab AI实战营 学习笔记 DAY(六)-- 语义分割和实例分割原理讲解】

本文是OpenMMLabAI实战营的学习笔记,重点介绍了语义分割、实例分割和全景分割的原理,探讨了语义分割的基本思路,包括全卷积网络和评估指标。同时,详细阐述了MMSegmentation项目的模块化设计,包括模型配置、主干网络、解码头和数据集处理等。
摘要由CSDN通过智能技术生成


本次课程是由子豪兄(B站 同济子豪兄)进行讲解,以及后续的答疑。课程于B站上搜索OpenMMLab 在其官网首页可以查看。 具体链接如下,https://www.bilibili.com/video/BV1s24y1W7Xa/?spm_id_from=333.337.search-card.all.click&vd_source=dc30f12500ae4d963ddc6f21932f3d67。

语义分割

任务: 将图像按照物体的类别分割成不同的区域
等价于: 对每个像素进行分类
在这里插入图片描述
应用:无人驾驶汽车–环境感知
自动驾驶车辆,会将行人,其他车辆,行车道,人行道、交通标志、房屋、草地与树木等等按照类别在图像中分割出来,从而辅助车辆对道路的情况进行识别与认知。

在这里插入图片描述
应用:人像分割
实时替换视频的背景,在智慧互娱和智能会议场景中,可以通过这种方法增加交互的多样性

在这里插入图片描述
应用:医疗影像分析
通过图像分割技术,辅助进行医疗诊断。如右图,识别脑部肿瘤异物的位置。
在这里插入图片描述

语义分割 vs 实例分割 vs 全景分割

在这里插入图片描述

语义分割的基本思路

基本思路:按颜色分割
在这里插入图片描述
基本思路:逐像素分类
在这里插入图片描述
复用卷积计算
在这里插入图片描述
在这里插入图片描述
全连接层的卷积化
在这里插入图片描述
全卷积网络 Fully Convolutional Network 2015
在这里插入图片描述
预测图的升采样
在这里插入图片描述
语义分割算法总结
在这里插入图片描述

语义分割模型的评估

比较预测与真值
在这里插入图片描述基于交并集的评估指标
在这里插入图片描述

MMSegmentation 的项目结构

在这里插入图片描述
分割模型的模块化设计
MMSegmentation 将分割模型统一拆解为如下模块,方便用户根据自己的需求进行组装和扩展。
在这里插入图片描述
分割模型的配置文件
在这里插入图片描述
主干网络的配置
主干网络输入图像,输出多层次的特征图
在这里插入图片描述
主解码头的配置
主解码头从特征图预测分割图
在这里插入图片描述
辅助解码头的配置
辅助解码头鼓励学习更好的低层特征,不用于最终的预测
在这里插入图片描述
数据集配置
在这里插入图片描述
数据处理流水线
在这里插入图片描述
常用训练策略
MMSegmentation 默认的学习率策略仅在总迭代次数上有所差别
在这里插入图片描述
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值