水下比赛PaddlePaddle使用记录

PaddlePaddle安装

首先对paddle进行安装。

paddle-gpu安装

1、https://www.paddlepaddle.org.cn/install/quick 根据上网址教程进行安装。注意cuda版本和cudnn版本，GPU的内存情况。
2、下载Paddle 模型库 。
以上操作在网址 https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.2/docs/tutorials/INSTALL_cn.md
3、确认测试通过时，一定要设置当前python环境变量。
export PYTHONPATH=pwd:$PYTHONPATH
python ppdet/modeling/tests/test_architectures.py

设置自己数据集（VOC格式）

1、根据以下网址创建自己数据集。
link
2、注意事项与步骤
（1）如果已有数据集，先创建软连接，网址有教程。
（2）水下数据集标注有误，xml文件照片大小信息缺失。编写程序先进行信息补全，后对空目标xml进行删除
（3）使用create_list.py文件创建train.txt，该文档内容为 （训练图片地址 相应xml地址），create_list.py信息如下。

// An highlighted block  create_list.py
import os
import os.path as osp
import re
import random

devkit_dir = './VOCdevkit/VOC2007'
years = ['2007']


def get_dir(devkit_dir,  type):
    return osp.join(devkit_dir, type)


def walk_dir(devkit_dir):
    filelist_dir = get_dir(devkit_dir, 'ImageSets/Main')
    annotation_dir = get_dir(devkit_dir, 'Annotations')
    img_dir = get_dir(devkit_dir, 'JPEGImages')
    trainval_list = []
    test_list = []
    added = set()

    for _, _, files in os.walk(filelist_dir):
        for fname in files:
            img_ann_list = []
            if re.match('train\.txt', fname):
                img_ann_list = trainval_list
            elif re.match('val\.txt', fname):
                img_ann_list = test_list
            else:
                continue
            fpath = osp.join(filelist_dir, fname)
            for line in open(fpath):
                name_prefix = line.strip().split()[0]
                if name_prefix in added:
                    continue
                added.add(name_prefix)
                print(annotation_dir)
                print(img_dir)
                #print(name_prefix)
                end="/"
                string2=name_prefix[name_prefix.rfind(end):]
                end="."
                string2=string2[0:string2.rfind(end)]
                print(string2)
                ann_path = osp.join("./VOCdevkit/VOC2007/Annotations"+string2+".xml")
                # ann_path=annotation_dir
                img_path = osp.join("./VOCdevkit/VOC2007/JPEGImages"+ string2+".jpg")
                assert os.path.isfile(ann_path), 'file %s not found.' % ann_path
                assert os.path.isfile(img_path), 'file %s not found.' % img_path
                img_ann_list.append((img_path, ann_path))

    return trainval_list, test_list


def prepare_filelist(devkit_dir, output_dir):
    trainval_list = []
    test_list = []
    trainval, test = walk_dir(devkit_dir)
    trainval_list.extend(trainval)
    test_list.extend(test)
    random.shuffle(trainval_list)
    with open(osp.join(output_dir, 'train.txt'), 'w') as ftrainval:
        for item in trainval_list:
            ftrainval.write(item[0] + ' ' + item[1] + '\n')

    with open(osp.join(output_dir, 'val.txt'), 'w') as ftest:
        for item in test_list:
            ftest.write(item[0] + ' ' + item[1] + '\n')


if __name__ == '__main__':
    prepare_filelist(devkit_dir, '.')

（4）创建完成后，要在config文件下进行设置。本次设置yolov3_voc.yml文件。
设置数据集为VOC数据格式，注意，VOC格式的field与COCO的不同。配置数据集路径选择自己的路径。
以我自己的为例，先继承yolo_reader.py.
注意修改num_classes为自己的类别数。

_READER_: 'yolov3_reader.yml'
TrainReader:
  dataset:
    !VOCDataSet
    dataset_dir: dataset/voc
    anno_path: train.txt
    use_default_label: true
    with_background: false

EvalReader:
  inputs_def:
    fields: ['image', 'im_size', 'im_id', 'gt_bbox', 'gt_class', 'is_difficult']
    num_max_boxes: 50
  dataset:
    !VOCDataSet
    dataset_dir: dataset/voc
    anno_path: val.txt
    use_default_label: true
    with_background: false

TestReader:
  dataset:
    !ImageFolder
    use_default_label: true
    with_background: false

（5）配置完成后，运行命令开始训练。

cd Project/ssx/paddle/PaddleDetection/
export CUDA_VISIBLE_DEVICES=1 #指定gpu
export PYTHONPATH=$PYTHONPATH:.#设置路径
python  tools/train.py -c configs/yolov3_r34_voc.yml#运行相应yml文件。

当从某一节点开始训练时，运行需要增加相关信息。

python  tools/train.py -c configs/yolov3_r34_voc.yml -r output/yolov3_r34_voc/8000
# -r后面的为 保存的模型地址。8000为轮数