点云实例分割-Softgroup-官方代码训练数据集

介绍

• 这里我使用的模型是基于PointGroup模型改进的SoftGroup模型，因为语义分割的结果导会影响实例结果，它对原有模型中语义分割中预测类别不准确问题进行改进的。

• 原有模型中，点对点预测类别是一对一关系，但这个模型允许一个点预测多个类别，来减轻语义预测时候导致预测不准确的问题。

• 在本文中，我使用Softgroup官方代码训练自己的数据，这里以一个植物的开源数据集为例，从0到1的过程

实验设置

	本机环境及配置
显卡	RTX 2080 Ti
PyTorch	1.11.0
Python	3.8
Cuda	11.3
ubuntu	20.04
CPU	Intel® Xeon® Platinum 8336C

论文: https://arxiv.org/abs/2209.08263
github地址: https://github.com/thangvubk/SoftGroup?tab=readme-ov-file
数据集: 我使用的是开源数据集大豆植株点云，其中对豆荚和茎实例分割标注

环境安装

官方安装步骤我根据我上面的环境配置进行修改，不然会出现各种奇怪的错误…

conda create -n softgroup python=3.8
conda activate softgroup

git clone https://github.com/thangvubk/SoftGroup.git
cd SoftGroup

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

pip install spconv-cu113
pip install -r requirements.txt

sudo apt update
sudo apt-get install libsparsehash-dev

python setup.py build_ext develop

训练S3DIS数据集制作

下载数据集

• 下载S3DIS数据集
  • 可以在官网下载
  • 使用OpenDataLab国内开源数据集平台（推荐）
  • 个人上传百度网盘

下面介绍OpenDataLab下载S3DIS数据集
https://opendatalab.com/OpenDataLab/S3DIS/cli/main

pip install openxlab #安装

pip install -U openxlab #版本升级

openxlab login #进行登录，输入对应的AK/SK

openxlab dataset get --dataset-repo OpenDataLab/S3DIS #数据集下载

#解压缩下载的数据集的压缩包
tar -xzvf S3DIS.tar.gz -C ./

转换成符合softgroup格式训练数据集

在prepare_data_inst文件中，修改左面那个箭头./Stanford3dDataset_v1.2 替换成你的路径你下载的路径

在prepare_data_inst文件中，我这里也修改了只生成一部分数据集，主要是展示训练过程修改了代码140的位置

然后运行程序prepare_data.sh

/root/SoftGroup/dataset/s3dis/prepare_data.sh
# 然后会在/root/SoftGroup/dataset/s3dis路径下生成转换好格式的数据集

训练模型

修改配置文件

下面开始使用上面做的数据集进行训练了，我们现进入/root/SoftGroup/configs/softgroup路径下看到俩个文件，原本SoftGroup模型训练是先训练语义分割网络，在训练实例分割网络的，这里我们为了简单过程，直接选择实例分割进行一部到位，直接训练整个网络。

根据softgroup_s3dis_fold5.yaml我拷贝出来一份配置叫softgroup_s3dis.yaml
进行修改

关于配置文件，主要修改这几部分

fixed_modules设置为空数组，不冻结网络

因为我数据集只有Area_1设置为一个

为了显存不爆，根据需求设置，同时不使用预训练权重

下面是整体的训练s3dis配置文件

model:
  channels: 32
  num_blocks: 7
  semantic_classes: 13
  instance_classes: 13
  sem2ins_classes: [0, 1]
  semantic_only: False
  ignore_label: -100
  grouping_cfg:
    score_thr: 0.2
    radius: 0.04
    mean_active: 300
    class_numpoint_mean: [34229, 39796, 12210, 7457, 5439, 10225, 6016,
                          1724, 5092, 7424, 5279, 6189, 1823]
    npoint_thr: 0.05  # absolute if class_numpoint == -1, relative if class_numpoint != -1
    ignore_classes: [0, 1]
  instance_voxel_cfg:
    scale: 50
    spatial_shape: 20
  train_cfg:
    max_proposal_num: 200
    pos_iou_thr: 0.5
  test_cfg:
    x4_split: True
    cls_score_thr: 0.001
    mask_score_thr: -0.5
    min_npoint: 100
    eval_tasks: ['semantic', 'instance']
  fixed_modules: []

data:
  train:
    type: 's3dis'
    data_root: '/root/SoftGroup/dataset/s3dis/preprocess'
    prefix: ['Area_1']
    suffix: '_inst_nostuff.pth'
    repeat: 20
    training: True
    voxel_cfg:
      scale: 50
      spatial_shape: [128, 512]
      max_npoint: 250000
      min_npoint: 5000
    x4_split: True
  test:
    type: 's3dis'
    data_root: '/root/SoftGroup/dataset/s3dis/preprocess'
    prefix: 'Area_1'
    suffix: '_inst_nostuff.pth'
    training: False
    voxel_cfg:
      scale: 50
      spatial_shape: [128, 512]
      max_npoint: 250000
      min_npoint: 5000
    x4_split: True

dataloader:
  train:
    batch_size: 2
    num_workers: 2
  test:
    batch_size: 1
    num_workers: 1

optimizer:
  type: 'Adam'
  lr: 0.001

fp16: False
epochs: 20
step_epoch: 0
save_freq: 2
pretrain: ''
work_dir: ''

运行训练程序

使用dist_train.sh程序训练，设置好配置文件和gpu使用个数进行训练

SoftGroup/tools/dist_train.sh /root/SoftGroup/configs/softgroup/softgroup_s3dis_fold5_test.yaml 1

成功进行训练和验证

这是生成的训练结果

推理模型

使用dist_test.sh进行推理，$CONFIG需要配置文件，$CHECKPOINT训练权重，$NUM_GPUs gpu使用个数，输出路径results/

SoftGroup/dist_test.sh $CONFIG $CHECKPOINT $NUM_GPUs --out results/

下面是使用的例子

 ./tools/dist_test.sh \
 /root/SoftGroup/work_dirs/softgroup_s3dis/softgroup_s3dis.yaml \
 /root/SoftGroup/work_dirs/softgroup_s3dis/epoch_2.pth \
 1 \
 --out results/ \