Datawhale[开源学习]（MMsegmentation使用）

2023.08.14

为了解决西瓜白壤，白皮的问题，尝试使用openmmlab框架进行解决

使用MMsegmentaion训练预训练的模型，对街景和图片做预测

使用语义分割复现经典算法，并复现相关的代码

使用新训练的模型部署到NCNN中,

同时了解到子豪兄的做到的一些工作

以及openMMlab(官网)自己学到的太少

Segmentation主要是基于即插即用的算法和模型

具有运行速度快，能使用于多种算法的功能

视频：

总结目前用的深度框架：

MMlab用到的

 

 

目标检测的使用

MMYolo的检测

 

MMocr的使用进行文字信息的提取

MMLab3D进行目标检测算法

 

MMsegmenmtation语义分割模型

 

 

 

分割任务的本质是对图像中的每个像素 pixel 做分类，可以细分为语义分割、实例分割和全景分割，它们之间的不同如下图所示： 

• 语义分割是给图像中的每个像素分配一个类别，得到特定类别的 mask；
• 实例分割是对特定的物体进行分类，与目标检测输出物体的边界框和类别不同，实例分割输出的是特定物体的 mask 和类别；
• 全景分割是语义分割和实例分割的结合，对于可数的对象实例 things 如行人、汽车去做实例分割，对于不可数的语义区域 stuff 如天空、地面做语义分割。

目前，MMSegmentation 支持的分割任务为语义分割 ，MMDetection 中支持了实例分割和全景分割。

自动驾驶

图像是自动驾驶中非常重要的数据来源，因为摄像头的成本低于激光雷达，而且相较于点云数据，直观的图像更符合人眼的视觉感受。通过语义分割模型，识别出图像中的特定类别，例如：车道线、车辆和行人，可以辅助自动驾驶系统理解场景，做出决策。目前 MMSegmentation 支持的城市街景数据集 Cityscapes，车道线检测模型 ERFNet，实时语义分割模型 BiSeNet 等都和此相关。