基于PaddleX的YOLOv3林业病虫害检测

PaddleX简介： PaddleX是飞桨全流程开发工具，集飞桨核心框架、模型库、工具及组件等深度学习开发所需全部能力于一身，打通深度学习开发全流程，并提供简明易懂的 Python API，方便用户根据实际生产需求进行直接调用或二次开发，为开发者提供飞桨全流程开发的最佳实践。目前，该工具代码已开源于 GitHub，同时可访问 PaddleX在线使用文档，快速查阅读使用教程和 API文档说明。
PaddleX代码GitHub链接： https://github.com/PaddlePaddle/PaddleX/tree/develop
PaddleX文档链接： https://paddlex.readthedocs.io/zh_CN/latest/index.html
PaddleX官网链接： https://www.paddlepaddle.org.cn/paddle/paddlex

YOLOv3简介

YOLOv3是在YOLOv1和YOLOv2的基础上，在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。本文档在一个小数据集上展示了如何通过PaddleX进行训练，您可以阅读文档使用教程-模型训练来了解更多模型任务的训练使用方式。

1. 安装PaddleX

!pip install paddlex -i https://mirror.baidu.com/pypi/simple

2. 准备昆虫目标检测数据集

!wget https://bj.bcebos.com/paddlex/datasets/insect_det.tar.gz
!tar xzf insect_det.tar.gz

3. 模型训练

3.1 配置GPU

# 设置使用0号GPU卡（如无GPU，执行此代码后仍然会使用CPU训练模型）
import matplotlib
matplotlib.use('Agg') 
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import paddlex as pdx

3.2 定义图像处理流程transforms

定义数据处理流程，其中训练和测试需分别定义，训练过程包括了部分测试过程中不需要的数据增强操作，如在本示例中，训练过程使用了MixupImage、RandomDistort、RandomExpand、RandomCrop和RandomHorizontalFlip共5种数据增强方式，更多图像预处理流程transforms的使用可参见paddlex.det.transforms。

from paddlex.det import transforms


train_transforms = transforms.Compose([
    transforms.MixupImage(mixup_epoch=250),
    transforms.RandomDistort(),
    transforms.RandomExpand(),
    transforms.RandomCrop(),
    transforms.Resize(target_size=608, interp='RANDOM'),
    transforms.RandomHorizontalFlip(),
    transforms.Normalize(),
])

eval_transforms = transforms.Compose([
    transforms.Resize(target_size=608, interp='CUBIC'),
    transforms.Normalize(),
])

3.3 定义数据集Dataset

目标检测可使用VOCDetection格式和COCODetection两种数据集，此处由于数据集为VOC格式，因此采用pdx.datasets.VOCDetection来加载数据集，该接口的介绍可参见文档paddlex.datasets.VOCDetection。

train_dataset = pdx.datasets.VOCDetection(
    data_dir='insect_det',
    file_list='insect_det/train_list.txt',
    label_list='insect_det/labels.txt',
    transforms=train_transforms,
    shuffle=True)
eval_dataset = pdx.datasets.VOCDetection(
    data_dir='insect_det',
    file_list='insect_det/val_list.txt',
    label_list='insect_det/labels.txt',
    transforms=eval_transforms)

3.4 模型开始训练

使用本数据集在P40上训练，如有GPU，模型的训练过程预估为40分钟左右；如无GPU，则预估为14小时左右。更多训练模型的参数可参见文档paddlex.det.YOLOv3。模型训练过程每间隔save_interval_epochs轮会保存一次模型在save_dir目录下，同时在保存的过程中也会在验证数据集上计算相关指标，具体相关日志参见文档。

VisualDL的使用方式为将当前地址中的notebook替换为visualdl。
例：

当前教程地址：https://aistudio.baidu.com/bdcpu/user/189619/442375/notebooks/442375.ipynb
VisualDL地址：https://aistudio.baidu.com/bdcpu/user/189619/442375/visualdl

# 如果要通过VisualDL查看日志页面，下没按这行代码需要执行
# aistudio上需要将日志输出到/home/aistudio/log目录下才可以查看VisuaDL界面
! rm -rf ~/log & rm -rf output/yolov3_darknet53
! mkdir -p output/yolov3_darknet53/vdl_log
! ln -s output/yolov3_darknet53/vdl_log ~/log

num_classes = len(train_dataset.labels)
model = pdx.det.YOLOv3(num_classes=num_classes, backbone='DarkNet53')
model.train(
    num_epochs=270,
    train_dataset=train_dataset,
    train_batch_size=8,
    eval_dataset=eval_dataset,
    learning_rate=0.000125,
    lr_decay_epochs=[210, 240],
    save_interval_epochs=20,
    save_dir='output/yolov3_darknet53',
    use_vdl=True)

4.模型预测

使用模型进行预测，同时使用pdx.det.visualize将结果可视化，可视化结果将保存到./output/yolov3_darknet53下，其中threshold代表Box的置信度阈值，将Box置信度低于该阈值的框过滤不进行可视化。

image_name = 'insect_det/JPEGImages/0217.jpg'
result = model.predict(image_name)
pdx.det.visualize(image_name, result, threshold=0.5, save_dir='./output/yolov3_darknet53')

可视化结果如下所示：