【语义分割实战（3）】Segformer语义分割：训练CityScapes公共数据集

BILLY BILLY

已于 2024-04-03 08:50:00 修改

阅读量2.2k

点赞数 23

分类专栏：语义分割文章标签：深度学习人工智能

于 2024-03-02 22:14:16 首次发布

本文链接：https://blog.csdn.net/m0_51579041/article/details/136417183

版权

语义分割专栏收录该内容

16 篇文章 6 订阅

订阅专栏

一、Segformer简介

在SegFormer提出时，transformer已经开始在图像领域展露头角。在此之前，SETR最早将transformer结构引入到了语义分割任务中。SETR采用ViT作为backbone，并结合多个CNN decoder来放大特征分辨率。但是SETR具有两个局限性：
没有有效利用multi-scale特征；
具有非常高的计算消耗。
为了解决上述问题，pyramid vision Transformer (PVT)被提出。PVT具有金字塔结构，使得分割结果有进一步的提升。但是包括PVT、Swin、Twins等新兴方法都是在改进encoder，但是忽略了decoder的改进。
与以前的方法相比，SegFormer同时考虑了效率、准确性和鲁棒性，作者重新设计了encoder和decoder，主要创新点包括：
一种新型的无位置编码（position-encoding-free）分层变压器编码器；
一种轻量级的 All-MLP（多层感知机） decoder设计；
在三个公开数据集上达到了SOTA的效果。
下面为Segformer论文中，Segformer分别与SETR，DeepLabv3+的效果对比图。
在这里插入图片描述

二、Segformer代码下载

代码可以在我的资源下载处获取。

三、CityScapes数据集简介

Cityscapes数据集共有fine和coarse两套评测标准，前者提供5000张精细标注的图像，后者提供5000张精细标注外加20000张粗糙标注的图像。Cityscapes数据集包含2975张图片。包含了街景图片和对应的标签。大小为113MB。Cityscapes数据集，包含戴姆勒在内的三家德国单位联合提供，包含50多个城市的立体视觉数据。

四 CityScapes数据集下载

4.1 登录网站https://www.cityscapes-dataset.com/downloads/ 并使用邮箱注册账号

4.2 下载下图框出的两部分数据集：

在这里插入图片描述

五、 CityScapes数据标签格式转换

## 5.1 使用命令行git clone https://githubfast.com/mcordts/cityscapesScripts.git或者登录https://github.com/mcordts/cityscapesScripts网站，下载zip压缩包方式，下载CityScapes数据集解析代码。
下载的结果如下图：
在这里插入图片描述

5.2 下载和使用CityScapes工具

pip install cityscapesscripts -i https://pypi.tuna.tsinghua.edu.cn/simple

结果如下：
在这里插入图片描述
修改5.1.步骤中下载的代码cityscapesScripts/cityscapesscripts/preparation/createTrainIdLabelImgs.py
在 def main()：前添加一行os.environ[‘CITYSCAPES_DATASET’] = “你的CityScapes gtFine路径” 确保能找到你下载的数据集的标签路径。
在这里插入图片描述
运行cityscapesScripts/cityscapesscripts/preparation/createTrainIdLabelImgs.py文件，进行标签数据格式转换：

在gt_Fine的train val文件夹下，增加了一些以_polygons.json" , "_labelTrainIds.png结尾的文件，即为转换生成的数据、
在这里插入图片描述
对应createTrainIdLabelImgs.py中的代码为：

现在，我们有了两个文件夹，一个是leftImg8bit的原始图像文件夹，一个是gtFine标注文件夹。

现在，我们要将这两个文件夹里面的图像都提取出来，存入train、val、test文件夹中。

运行下面的代码，即可将原始图像提取并处理。

import os
import random
import shutil
# 数据集路径
dataset_path = r"dataset/cityscapes/leftImg8bit_trainvaltest/leftImg8bit"
#原始的train, valid文件夹路径
train_dataset_path = os.path.join(dataset_path,'train')
val_dataset_path  = os.path.join(dataset_path,'val')
test_dataset_path  = os.path.join(dataset_path,'test')
#创建train,valid的文件夹
train_images_path = os.path.join(dataset_path,'cityscapes_train')
val_images_path  = os.path.join(dataset_path,'cityscapes_val')
test_images_path  = os.path.join(dataset_path,'cityscapes_test')
 
if os.path.exists(train_images_path)==False:
    os.mkdir(train_images_path )
if os.path.exists(val_images_path)==False:
    os.mkdir(val_images_path)
if os.path.exists(test_images_path)==False:
    os.mkdir(test_images_path)
    
#-----------------移动文件夹-------------------------------------------------
for file_name in os.listdir(train_dataset_path):
    file_path = os.path.join(train_dataset_path,file_name)
    for image in os.listdir(file_path):
        shutil.copy(os.path.join(file_path,image), os.path.join(train_images_path,image))
    
for file_name in os.listdir(val_dataset_path):
    file_path = os.path.join(val_dataset_path,file_name)
    for image in os.listdir(file_path):
        shutil.copy(os.path.join(file_path,image), os.path.join(val_images_path,image))
        
for file_name in os.listdir(test_dataset_path):
    file_path = os.path.join(test_dataset_path,file_name)
    for image in os.listdir(file_path):
        shutil.copy(os.path.join(file_path,image), os.path.join(test_images_path,image))

运行后生成如下文件夹。
在这里插入图片描述
对于label文件也同样如此，比如下面生成19类的标注文件夹。

import os
import random
import shutil
# 数据集路径
dataset_path = r"dataset\cityscapes\gtFine_trainvaltest\gtFine"
#原始的train, valid文件夹路径
train_dataset_path = os.path.join(dataset_path,'train')
val_dataset_path  = os.path.join(dataset_path,'val')
test_dataset_path  = os.path.join(dataset_path,'test')
#创建train,valid的文件夹
train_images_path = os.path.join(dataset_path,'cityscapes_19classes_train')
val_images_path  = os.path.join(dataset_path,'cityscapes_19classes_val')
test_images_path  = os.path.join(dataset_path,'cityscapes_19classes_test')
 
if os.path.exists(train_images_path)==False:
    os.mkdir(train_images_path )
if os.path.exists(val_images_path)==False:
    os.mkdir(val_images_path)
if os.path.exists(test_images_path)==False:
    os.mkdir(test_images_path)
    
 
#-----------------移动文件---对于19类语义分割, 主需要原始图像中的labelIds结尾图片-----------------------
for file_name in os.listdir(train_dataset_path):
    file_path = os.path.join(train_dataset_path,file_name)
    for image in os.listdir(file_path):
        #查找对应的后缀名，然后保存到文件中
        if image.split('.png')[0][-13:] == "labelTrainIds":
            #print(image)
            shutil.copy(os.path.join(file_path,image), os.path.join(train_images_path,image))
    
for file_name in os.listdir(val_dataset_path):
    file_path = os.path.join(val_dataset_path,file_name)
    for image in os.listdir(file_path):
        if image.split('.png')[0][-13:] == "labelTrainIds":
            shutil.copy(os.path.join(file_path,image), os.path.join(val_images_path,image))
        
for file_name in os.listdir(test_dataset_path):
    file_path = os.path.join(test_dataset_path,file_name)
    for image in os.listdir(file_path):
        if image.split('.png')[0][-13:] == "labelTrainIds":
            shutil.copy(os.path.join(file_path,image), os.path.join(test_images_path,image))