1.数据集制作
步骤1:使用labelme对图片进行标注,得到图片对应的.json文件;
步骤2:通过labelme2dataset-main/labelme2BiSeNet工具进行图片处理,借鉴https://github.com/caozhiwei1994/labelme2dataset链接中的方法,将链接文件下载并解压到任意目录中,打开后有三个文件,进入到labelme2BisSeNet文件夹中,并且将步骤1得到的原图JSON文件放入一个文件夹中,如before,然后执行json_to_dataset.py文件代码,注意修改自己的路径; (此处需要labelme版本为3.16.*,版本过高需要卸载原来的重新安装)
步骤3:执行完得到output文件夹,output文件夹下文件(可视化分割)中每个图片都有对应生成的文件夹,然后在labelme2BiSeNet目录下新建class_name.txt,里面包含了我们标记的所有类(包括背景);
步骤4:运行get_png.py,得到jpg_png文件夹。jpg文件夹是复制before中的jpg格式图像,png文件夹中的图像是24位的灰度图。因为BiSeNet需要8位的灰度图,我们还需要进一步处理;
步骤5:运行get_dataset.py,得到dataset文件夹,gt_png是原图像(原来是jpg格式,转为png格式),label_png是标注图像(8位的灰度图);
步骤6:运行train_val.py,dataset中的gt_png和label_png分为train和val文件夹;
步骤7:运行train_val_txt.py,得到train.txt和val.txt。
*****数据预处理完成*****
2.数据训练
步骤1:源码修改——【./configs/bisenetv2_city.py,修改自己标注类别数量,修改数据集路径】,【./lib/cityscapes_cv2.py,更改自己数据表述类别】;
步骤2:训练数据,单机单卡在终端输入:
export CUDA_VISIBLE_DEVICES=0
torchrun --nproc_per_node=1 tools/train_amp.py --config configs/bisenetv2_city.py
3.使用训练好的模型进行语义分割
tools文件夹中的demo.py,用于图片语义分割,该程序做如下修改即可运行:
# args
parse = argparse.ArgumentParser()
parse.add_argument('--config', dest='config', type=str, default='configs/bisenetv2_city.py',) #修改为自己的数据
parse.add_argument('--weight-path', type=str, default='./res/model_final.pth',) #训练后的模型
parse.add_argument('--img-path', dest='img_path', type=str, default='./example.png',)
args = parse.parse_args()
cfg = set_cfg_from_file(args.config)
palette = np.random.randint(0, 256, (256, 3), dtype=np.uint8)
# define model
net = model_factory[cfg.model_type](cfg.n_cats, aux_mode='eval')
#此处调用 torch.load 时没有显式指定 weights_only 参数,因此使用默认值 False,触发了未来版本变更的警告。
#net.load_state_dict(torch.load(args.weight_path, map_location='cpu'), strict=False)
net.load_state_dict(torch.load(args.weight_path, map_location='cpu', weights_only=True), strict=False) #修改
修改完运行:
python tools/demo.py --config configs/bisenetv2_city.py --weight-path /path/to/your/weights.pth --img-path ./example.png
(源数据和权重文件在demo.py中设置好就不用再设置了,只指定图片即可)
处理视频使用demeo_video.py
python tools/demo_video.py --config configs/bisenetv2_coco.py --weight-path res/model_final.pth --input ./video.mp4 --output res.mp4


1047

被折叠的 条评论
为什么被折叠?



