日常学习 mmsegmentation处理数据集和图片格式

最新推荐文章于 2025-03-12 15:37:17 发布
最新推荐文章于 2025-03-12 15:37:17 发布
阅读量5.7k 收藏 18
点赞数 4
分类专栏： 语义分割 日常 文章标签： 学习 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xjw0645/article/details/123471434
版权
本文详细介绍了如何在mmsegmentation中处理自定义数据集，包括创建数据集文件、配置数据处理参数，并强调了像素值与类别数的关系。此外，还讲解了调色板的定义和使用，用于将分割结果以彩色图展示。正确设置像素值和调色板对于模型训练和结果可视化至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. mmsegmentation 对数据集的读取与处理

对于自定义数据集需要在mmseg/datasets下建立自己的数据集文件,如

import os.path as osp
from .builder import DATASETS
from .custom import CustomDataset

@DATASETS.register_module()  # 注册   不要忘记在__init__.py作显示导入
class RoadDataset(CustomDataset):
    CLASSES = ('background', 'foreground')   # 类别名称设置
    PALETTE = [[120, 120, 120], [6, 230, 230]]  # 调色板设置

    def __init__(self,**kwargs):
        super(RoadDataset, self).__init__(
            img_suffix='_sat.jpg',  # img文件‘后缀’
            seg_map_suffix='_mask.png',  # gt文件‘后缀’

            """
               对于二分类设成False,对于多分类，视数据集而定，对于ade20k为True
               因为0代表背景，但是不包含在150个类别中
            """

            reduce_zero_label=False,   

            **kwargs)
        assert osp.exists(self.img_dir)

同时需要在configs/dataset下建立自己的数据处理配置文件，如

# dataset settings
dataset_type = 'RoadDataset'
data_root = 'data/DeepGlobe'
img_norm_cfg = dict(
    mean=[90.473, 91.277, 83.520], std=[50.5127, 48.89, 48.681], to_rgb=True)
img_scale = (1024, 1024)  # 图像的原始尺寸
crop_size = (256, 256)
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations'),
    dict(type='Resize', img_scale=img_scale, ratio_range=(0.5, 2.0)),
    dict(type='RandomCrop', crop_size=crop_size, cat_max_ratio=0.75),
    dict(type='RandomFlip', prob=0.5),
    dict(type='PhotoMetricDistortion'),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size=crop_size, pad_val=0, seg_pad_val=255),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_semantic_seg'])
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=img_scale,
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=True),
            dict(type='RandomFlip'),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='ImageToTensor', keys=['img']),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    samples_per_gpu=8,
    workers_per_gpu=4,
    train=dict(
        type=dataset_type,
        data_root=data_root,
        img_dir='train/img',
        ann_dir='train/label',
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        data_root=data_root,
        img_dir='val/img',
        ann_dir='val/label',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        data_root=data_root,
        img_dir='val/img',
        ann_dir='val/label',
        pipeline=test_pipeline))

mmsegmentation中要求，gt的像素值应该在[0,N-1],其中N为类别数
这个很重要，像素的值得从0开始逐渐递增。

我之前就在处理potsdam数据集的时候，重新二值化把像素的值设置成了1，2，3，4，5，6、结果就有一类的精度异常，怎么都是0。
比如在2分类的时候，像素的值就得是0，1. （0，255）的设置用于训练跑的起来，但是结果不对。
在这里插入图片描述

参考链接：
https://zhuanlan.zhihu.com/p/380189172

2. mmsegmentation调色板palette的使用

对分割结果进行可视化时，往往可以通过调色板技术将灰度图显示为彩色图

在mmsegmentation中的核心代码如下（以ade20K为例）：

调色板的定义：

PALETTE = [[120, 120, 120], [180, 120, 120], [6, 230, 230], [80, 50, 50],
               [4, 200, 3], [120, 120, 80], [140, 140, 140], [204, 5, 255],
               [230, 230, 230], [4, 250, 7], [224, 5, 255], [235, 255, 7],
               [150, 5, 61], [120, 120, 70], [8, 255, 51], [255, 6, 82],
               [143, 255, 140], [204, 255, 4], [255, 51, 7], [204, 70, 3],
               [0, 102, 200], [61, 230, 250], [255, 6, 51], [11, 102, 255],
               [255, 7, 71], [255, 9, 224], [9, 7, 230], [220, 220, 220],
               [255, 9, 92], [112, 9, 255], [8, 255, 214], [7, 255, 224],
               [255, 184, 6], [10, 255, 71], [255, 41, 10], [7, 255, 255],
               [224, 255, 8], [102, 8, 255], [255, 61, 6], [255, 194, 7],
               [255, 122, 8], [0, 255, 20], [255, 8, 41], [255, 5, 153],
               [6, 51, 255], [235, 12, 255], [160, 150, 20], [0, 163, 255],
               [140, 140, 140], [250, 10, 15], [20, 255, 0], [31, 255, 0],
               [255, 31, 0], [255, 224, 0], [153, 255, 0], [0, 0, 255],
               [255, 71, 0], [0, 235, 255], [0, 173, 255], [31, 0, 255],
               [11, 200, 200], [255, 82, 0], [0, 255, 245], [0, 61, 255],
               [0, 255, 112], [0, 255, 133], [255, 0, 0], [255, 163, 0],
               [255, 102, 0], [194, 255, 0], [0, 143, 255], [51, 255, 0],
               [0, 82, 255], [0, 255, 41], [0, 255, 173], [10, 0, 255],
               [173, 255, 0], [0, 255, 153], [255, 92, 0], [255, 0, 255],
               [255, 0, 245], [255, 0, 102], [255, 173, 0], [255, 0, 20],
               [255, 184, 184], [0, 31, 255], [0, 255, 61], [0, 71, 255],
               [255, 0, 204], [0, 255, 194], [0, 255, 82], [0, 10, 255],
               [0, 112, 255], [51, 0, 255], [0, 194, 255], [0, 122, 255],
               [0, 255, 163], [255, 153, 0], [0, 255, 10], [255, 112, 0],
               [143, 255, 0], [82, 0, 255], [163, 255, 0], [255, 235, 0],
               [8, 184, 170], [133, 0, 255], [0, 255, 92], [184, 0, 255],
               [255, 0, 31], [0, 184, 255], [0, 214, 255], [255, 0, 112],
               [92, 255, 0], [0, 224, 255], [112, 224, 255], [70, 184, 160],
               [163, 0, 255], [153, 0, 255], [71, 255, 0], [255, 0, 163],
               [255, 204, 0], [255, 0, 143], [0, 255, 235], [133, 255, 0],
               [255, 0, 235], [245, 0, 255], [255, 0, 122], [255, 245, 0],
               [10, 190, 212], [214, 255, 0], [0, 204, 255], [20, 0, 255],
               [255, 255, 0], [0, 153, 255], [0, 41, 255], [0, 255, 204],
               [41, 0, 255], [41, 255, 0], [173, 0, 255], [0, 245, 255],
               [71, 0, 255], [122, 0, 255], [0, 255, 184], [0, 92, 255],
               [184, 255, 0], [0, 133, 255], [255, 214, 0], [25, 194, 194],
               [102, 255, 0], [92, 0, 255]]

调色板的使用：

seg = np.array(seg_map)
color_seg = np.zeros((seg.shape[0], seg.shape[1], 3), dtype=np.uint8)   
for label, color in enumerate(PALETTE):
    color_seg[seg == label, :] = color  # numpy 数组的“新奇”使用，就是把预测结果的灰度像素值改成RGB
    color_seg = color_seg[..., ::-1] # convert to BGR （cv2的存储顺序是GBR,所以逆序读取RGB就行了）
    cv2.imwrite(out_file,color_seg)

ps：PIL中的调色板模式为P，每个像素值对应一个RGB值

MMLAB系列：mmsegmentation的使用
qq_52053775的博客
09-10 2234
数据可以使用labelme进行数据标注，labelme还提供了数据集格式转换脚本，可以将labelme数据集格式转换为voc数据集格式转换后：JPEGImages为图片，SegmentationClassPNG为标签。
基于MMSegmentation，在自己的数据集（voc格式的分割数据集）上复现upernet_convnext网络。
m0_47452894的博客
01-18 2057
最近在做分割任务，看了一篇《A ConvNet for the 2020s》里面提到一个upernet网络做分割任务，发现现在很多做分割的都基于mmsegmentation这个类似的工具箱做，所以我也尝试用它训练一下，也方便以后做对比实验。因为第一次使用mmsegmentation，所以不太熟练，经过几天努力终于跑通了，在这里记录和分享一下，免得以后自己忘记那个步骤，又跑不通了。
【MMSegmentation指南合集】MMSegmentation的数据流
weixin_43571113的博客
03-12 1025
计算分割任务的损失，支持多损失函数组合与采样策略。seg_logits：解码头输出的未归一化logits（形状为(B, C, H, W)）， batch_data_samples：包含标注和元信息的SegDataSample列表。
图像分割之--mmsegmentation使用
AI小花猫的博客
09-05 2849
mmsegmentation对自己数据集的训练和测试
mmsegmentation
04-04
文档： ： 介绍 MMSegmentation是基于PyTorch的开源语义分割工具箱。 它是OpenMMLab项目的一部分。 master分支可与PyTorch 1.3至1.6一起使用。 主要特点 统一基准 我们为各种语义分割方法提供了一个统一的基准测试工具箱。 模块化设计 我们将语义分割框架分解为不同的组件，并且可以通过组合不同的模块轻松地构建自定义的语义分割框架。 开箱即用的多种方法支持 该工具箱直接支持流行的和当代的语义分割框架，例如PSPNet，DeepLabV3，PSANet，DeepLabV3 +等。 高效率 训练速度比其他代码库快或可比。 执照 该项目是根据。 变更日志 v0.11.0于02/02/20发布。 有关详细信息和发行历史，请参考 。 基准和模型动物园 结果和模型可在。 支持的骨干网： ResNet ResNeXt 支持的方法：
关于mmsegmentation的自定义数据集格式的一些坑（2）
Elysion_Daniel的博客
04-08 6983
这次又有任务要跑mmseg，我本意是拒绝的，奈何老板喜欢，mm系列的东西，那一套流程，真心玩不转，玩着玩着心就累了。 mm系列和detectron差不多，要找其代码流转，都是要先看配置文件，比较麻烦，需要一定的经验，然后前面两篇都写了我是怎么查看的，这个东西多说无益，我只能说我是怎么看的，希望对各位有所帮助。 一：安装 这个mmsegmentation，我用的官方的代码，安装还是非常方便的，就是先装一个mmcv再装本体就可以了，mmcv，文档里面写的是mmcv和mmcv-full都可以，但是似乎是mm
【语义分割】使用MMSegmentation训练VOC格式自定义数据集
ericdiii的博客
10-24 1040
语义分割任务，使用MMSegmentation训练VOC格式自定义数据集
mmsegmentationV1.0训练分割模型（自定义数据格式和config）
女神sha手的博客
07-13 999
MMSegmentation 保持了 MM 系列一贯的风格，拥有灵活的模块化设计和全面的高性能model zoo。目前我们支持非常多的主流backbone和语义分割算法，支持多种数据集如 Cityscapes，ADE20K，Pascal VOC 2012上的训练结果（目前应该是语义分割中最大的 模型库）。
mmsegmentation自定义数据集
weixin_45912366的博客
06-16 2275
mmesgmentation自定义数据集步骤
MMSegmentation使用心得（一）
weixin_50646615的博客
11-19 2036
MMSegmentation入门及使用简介
Cityscapes小白
最新发布
03-13
作为一个强大的数据集管理框架，它支持多种格式之间的转换，并且提供了命令行接口简化日常操作[^2]。例如通过下面这条指令即可轻松实现 cityscapes 至 COCO 的转变: ```bash datum convert -if cityscapes -it mask...
【记录】mmsegmentation 训练自己的数据集
shuaijieer的博客
07-31 3063
mmsegmentation 快速上手
MM Segmentation 训练自己的数据集
Thinkobj的博客
12-20 856
MM Segmentation 训练自己的数据集
MMSegmentation笔记05：训练+日志可视化+测试集性能评估
HearMeRoar_的博客
08-19 3072
同样的，由于我的py文件新建在根目录下，与 git clone 下来的segmentation文件夹并列，所以基本每个路径前都加上了。而指标表现的比较好的原因其实是这里子豪兄的测试集与验证集相同，由于数据集不充分，就这么做了，实际应用中千万不要这么做。然后就是漫长的训练等待，我的显卡是RTX 3060 16GB，训练了20个小时，如果硬件条件不允许的话，可以直接下载。可以看到除了最后的白籽，其他指标表现非常好，这是由于白籽目标太小，且数据集也不多，因此表现不好。当然，切换到本地运行仍然会有文件路径的问题。
mmsegmention数据集存放格式（三）
alex1801
01-31 2739
目录 1、准备数据集 2、支持数据集 2.1、Cityscapes 2.2、Pascal VOC 2.3、ADE20K 2.4、Pascal Context 2.5、CHASE DB1 2.6、DRIVE 2.7、HRF 2.8、STARE 3、数据实例配置 翻译地址：https://mmsegmentation.readthedocs.io/en/latest/dataset_prepare.html 1、准备数据集 建议将数据集根符号链接到$MMSEGMENTATION/da
mmsegmentation教程1:自定义数据集、config文件修改、训练教程
热门推荐
weixin_42748439的博客
02-09 2万+
mmseg使用教程
【mmseg·1】mmseg调试用自己数据训练
qq_31486717的博客
12-20 1735
mmseg用自己数据调试
【Python:Pycharm】mmSegmentation语义分割框架教程
weixin_44883789的博客
07-07 9225
MMSegmentation是openmmlab项目下开源的图像语义分割框架，目前支持pytorch，由于其拥有pipeline加速，完善的数据增强体系，完善的模型库，作为大数据语义分割训练及测试的代码框架是再好不过了。
mmsegmentation rle数据集
02-27
### mmsegmentation 中 RLE 数据集的下载与使用 对于 `mmsegmentation` 库中的运行长度编码 (RLE) 数据集，通常用于图像分割任务中表示掩码。为了加载和处理这些数据集，在配置文件中指定相应的参数即可[^1]。 #### 配置文件设置 在配置文件里定义数据源时，可以通过设定特定字段来支持 RLE 编码格式的数据集。下面是一个简单的例子展示如何配置 COCO 格式的语义分割数据集，该格式可以包含 RLE 掩码： ```yaml data_root = 'path/to/coco' train_pipeline = [ dict(type='LoadImageFromFile'), dict( type='LoadAnnotations', reduce_zero_label=True, with_seg=True), # 加载带有 RLE 的标注信息 ... ] data = dict( samples_per_gpu=2, workers_per_gpu=2, train=dict( type='COCODataset', # 或其他兼容 RLE 的数据集类 data_root=data_root, ann_file=f'{data_root}/annotations/stuff_train.json', img_prefix=f'{data_root}/images/train/', pipeline=train_pipeline)) ``` 上述代码片段展示了如何通过修改配置文件来适应具有 RLE 编码标签的数据集。需要注意的是，实际路径应替换为本地存储位置，并且确保 JSON 文件内含有以 RLE 形式保存的对象实例或像素级类别信息。 #### 下载官方预训练模型及其对应数据集 如果希望获取已经准备好的、适用于 `mmsegmentation` 并采用 RLE 方式的公开数据集，则可以直接利用项目仓库提供的资源链接进行下载。例如，访问 GitHub 上 OpenMMLab 组织下的 [mmsegmentation](https://github.com/open-mmlab/mmsegmentation/tree/v0.24.1) 页面查看是否有提供相关数据集的说明文档或者直接下载链接；另外也可以探索 Model Zoo 来寻找可能附带测试用例的数据集合。 #### Python API 示例 除了基于配置的方式外，还可以借助 Python 脚本动态创建数据加载器并读取含 RLE 标签的信息： ```python from mmseg.datasets.builder import DATASETS from mmseg.datasets.custom import CustomDataset import os.path as osp @DATASETS.register_module() class MyCustomDataset(CustomDataset): CLASSES = ('background', 'object') PALETTE = [[0, 0, 0], [255, 255, 255]] def __init__(self, **kwargs): super().__init__( img_suffix='.jpg', seg_map_suffix='.png', split=None, **kwargs) dataset = MyCustomDataset( pipeline=[], data_root='./my_dataset', ann_file='annotation_with_rle.json') for i in range(len(dataset)): sample = dataset[i] print(f'Sample {i}: Image shape={sample["img"].shape}, Segmentation map shape={sample["gt_semantic_seg"].shape}') ``` 此脚本定义了一个自定义数据集类继承自 `CustomDataset`，并通过重写构造函数指定了图片扩展名以及分隔符等细节。之后初始化对象时传入必要的参数如根目录路径和注解文件名称（这里假设是以 JSON 格式记录了 RLE 编码）。最后遍历整个数据集打印每张样本的基本属性作为演示。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值