[PaddleDetection保姆级教程]使用自定义数据集实现吸烟识别预测

PaddleDetection

介绍

PaddleDetection是基于PaddlePaddle的端到端对象检测开发工具包，旨在帮助开发人员在训练模型的整个开发，优化性能和推理速度以及部署模型方面提供帮助。PaddleDetection在模块化设计中提供了各种对象检测体系结构，并提供了丰富的数据增强方法，网络组件，丢失功能等。PaddleDetection支持实际项目，例如工业质量检查，遥感图像对象检测以及具有模型等实际功能的自动检查。压缩和多平台部署。

现在，PaddleDetection中的所有模型都需要1.8版或更高版本的PaddlePaddle或合适的开发版本。

github地址：https://github.com/PaddlePaddle/PaddleDetection

项目地址：[PaddleDetection保姆级教程]使用自定义数据集实现吸烟识别预测

特征

丰富的型号：
PaddleDetection提供了丰富的模型，包括100多种预先训练的模型，例如对象检测，实例分割，面部检测等。它涵盖了冠军模型，适用于云和边缘设备的实用检测模型。

生产就绪：
关键操作在C ++和CUDA中实现，再加上PaddlePaddle的高效推理引擎，可以在服务器环境中轻松部署。

高度灵活：
组件设计为模块化。通过简单的配置更改即可轻松定制模型体系结构以及数据预处理管道。

性能优化：
借助基础的PaddlePaddle框架，可以加快培训速度并减少GPU内存占用。值得注意的是，与其他框架相比，YOLOv3培训要快得多。另一个示例是Mask-RCNN（ResNet50），在多GPU训练期间，我们设法为每个GPU（Tesla V100 16GB）最多容纳4张图像。

本次项目实验步骤以及实验结果

本次实验通过使用PaddleDetection2.0中的YOLOv3(主干网络为mobilenetv3的轻量化模型)，通过几行代码就能实现吸烟的目标检测，后期可部署用于监控在公共场合禁烟区等,mAP值达到88.51%

实验步骤

1. 解压自定义的数据集；

2. 下载安装PaddleDetection包；

3. 自定义数据集划分；

4. 选择模型（本次选择YOLO-v3）进行训练：训练的配置文件说明；

5.效果可视化：使用训练好的模型进行预测，同时对结果进行可视化；

6.模型评估和预测：评估模型效果；

7.预测结果

实验结果

检测效果如下图所示：

1解压自定义的数据集

将把完成好标注的吸烟图片（VOC数据集）进行解压。

建议把上传压缩包

文件格式：

pp_somke：

–Annotations

  1.xml

  2.xml

  .......

–images:

  1.jpg

  2.jpg

  .......

!unzip -oq data/data94796/pp_smoke.zip -d work/

2下载安装PaddleDetection包

! git clone https://gitee.com/paddlepaddle/PaddleDetection.git

Cloning into 'PaddleDetection'...
remote: Enumerating objects: 14575, done.[K
remote: Counting objects: 100% (14575/14575), done.[K
remote: Compressing objects: 100% (6264/6264), done.[K
remote: Total 14575 (delta 10732), reused 11456 (delta 8175), pack-reused 0[K
Receiving objects: 100% (14575/14575), 132.71 MiB | 15.26 MiB/s, done.
Resolving deltas: 100% (10732/10732), done.
Checking connectivity... done.

3自定义数据集的划分

将数据集按照9：1的比例进行划分，并生成训练集train.txt和验证集val.txt进行训练

import random
import os
#生成train.txt和val.txt
random.seed(2020)
xml_dir  = '/home/aistudio/work/Annotations'#标签文件地址
img_dir = '/home/aistudio/work/images'#图像文件地址
path_list = list()
for img in os.listdir(img_dir):
    img_path = os.path.join(img_dir,img)
    xml_path = os.path.join(xml_dir,img.replace('jpg', 'xml'))
    path_list.append((img_path, xml_path))
random.shuffle(path_list)
ratio = 0.9
train_f = open('/home/aistudio/work/train.txt','w') #生成训练文件
val_f = open('/home/aistudio/work/val.txt' ,'w')#生成验证文件

for i ,content in enumerate(path_list):
    img, xml = content
    text = img + ' ' + xml + '\n'
    if i < len(path_list) * ratio:
        train_f.write(text)
    else:
        val_f.write(text)
train_f.close()
val_f.close()

#生成标签文档
label = ['smoke']#设置你想检测的类别
with open('/home/aistudio/work/label_list.txt', 'w') as f:
    for text in label:
        f.write(text+'\n')

%cd PaddleDetection

/home/aistudio/PaddleDetection

4 选择模型（本次选择YOLO-v3）进行训练：训练的配置文件说明

用户在选择好模型后，只需要改动对应的配置文件后，只需要运行train.py文件，即可实现训练。

本项目中，使用YOLOv3模型里的yolov3_mobilenet_v3_large_ssld_270e_voc.yml进行训练

4.1配置文件示例

我们使用configs/yolov3/yolov3_mobilenet_v3_large_ssld_270e_voc.yml配置进行训练。
在PaddleDetection2.0中，模块化做的更好，可以可自由修改覆盖各模块配置，进行自由组合。

配置文件结构说明

4.2配置文件详细说明

从上图看到yolov3_mobilenet_v3_large_ssld_270e_voc.yml配置需要依赖其他的配置文件。在该例子中需要依赖：

在修改文件之前，先给大家解释一下各依赖文件的作用：

  '../datasets/voc.yml'主要说明了训练数据和验证数据的路径，包括数据格式(coco、voc等)
  
  '../runtime.yml',主要说明了公共的运行状态，比如说是否使用GPU、迭代轮数等等  
  
  '_base_/optimizer_270e.yml',主要说明了学习率和优化器的配置，以及设置epochs。在其他的训练的配置中，学习率和优化器是放在了一个新的配置文件中。

   '_base_/yolov3_mobilenet_v3_large.yml',主要说明模型、和主干网络的情况说明

  '_base_/yolov3_reader.yml', 主要说明了读取后的预处理操作，比如resize、数据增强等等。

介绍一下需要修改的几个地方（画红线的地方）：

…/datasets/voc.yml

base/optimizer_270e.yml

配置文件结构说明

4.3执行训练

执行下面命令快速进行训练，并开启vdl记录

!python tools/train.py -c configs/yolov3/yolov3_mobilenet_v3_large_ssld_270e_voc.yml --eval --use_vdl=True --vdl_log_dir="./output"

5.效果可视化：使用训练好的模型进行预测，同时对结果进行可视化

当打开use_vdl开关后，PaddleDetection会将训练过程中的数据写入VisualDL文件，可实时查看训练过程中的日志。记录的数据包括：

1. loss变化趋势
2. mAP变化趋势

使用如下命令启动VisualDL查看日志

# 下述命令会在127.0.0.1上启动一个服务，支持通过前端web页面查看，可以通过--host这个参数指定实际ip地址
visualdl --logdir output/

在浏览器输入提示的网址，效果如下：

visualdl --logdir output/

  File "<ipython-input-68-4b7c990a0c4d>", line 1
    visualdl --logdir output/
                           ^
SyntaxError: invalid syntax

如果上面代码执行不成功，可以通过左端界面控制进行查看

具体操作可以去查看这个网站：https://my.oschina.net/u/4067628/blog/4839747（第三步骤）

6.模型评估

python -u tools/eval.py -c configs/yolov3/yolov3_mobilenet_v3_large_ssld_270e_voc.yml \
-o weights=output/yolov3_mobilenet_v3_large_ssld_270e_voc/best_model.pdparams

!python -u tools/eval.py -c configs/yolov3/yolov3_mobilenet_v3_large_ssld_270e_voc.yml  -o weights=output/yolov3_mobilenet_v3_large_ssld_270e_voc/best_model.pdparams

7. 模型预测

在执行tools/infer.py后，在output文件夹下会生成对应的预测结果

python tools/infer.py -c configs/yolov3/yolov3_mobilenet_v3_large_ssld_270e_voc.yml \  
-o weights=output/yolov3_mobilenet_v3_large_ssld_270e_voc/best_model.pdparams \
--infer_img=dataset/113.jpg(需要检测的图片)

!python tools/infer.py -c configs/yolov3/yolov3_mobilenet_v3_large_ssld_270e_voc.yml -o weights=output/yolov3_mobilenet_v3_large_ssld_270e_voc/best_model.pdparams --infer_img=/home/aistudio/work/xiayan2.jpg

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/tensor/creation.py:125: DeprecationWarning: `np.object` is a deprecated alias for the builtin `object`. To silence this warning, use `object` by itself. Doing this will not modify any behavior and is safe. 
Deprecated in NumPy 1.20; for more details and guidance: https://numpy.org/devdocs/release/1.20.0-notes.html#deprecations
  if data.dtype == np.object:
W0611 21:05:17.302584 21170 device_context.cc:404] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0611 21:05:17.307160 21170 device_context.cc:422] device: 0, cuDNN Version: 7.6.
[06/11 21:05:21] ppdet.utils.checkpoint INFO: Finish loading model weights: output/yolov3_mobilenet_v3_large_ssld_270e_voc/best_model.pdparams
[06/11 21:05:21] ppdet.engine INFO: Detection bbox results save in output/xiayan2.jpg

- 结果展示

原图

预测图

总结

由上图我们可以看到，使用PaddleDetection完成了吸烟的目标识别检测，并且mAP已经达到了88.51%。

优化方案

可以通过增加数据集、选择更优化模型，增加训练的次数。

后期应用

可以把语音加到识别之后，如果识别到有人吸烟，则可播报语音，进行警告

后期可以部署到禁烟区公共场合监控中实现检测吸烟检测等项目。

具体可以去看PaddleDetection详细教程：

https://paddledetection.readthedocs.io/tutorials/GETTING_STARTED_cn.html

关于作者

感兴趣的方向为：目标检测,分类任务等

AIstudio主页： 我在AI Studio上获得白银等级，点亮3个徽章，来互关呀~ 我在AI Studio上获得黄金等级，点亮7个徽章，来互关呀~

https://aistudio.baidu.com/aistudio/personalcenter/thirdview/474269

Github主页： https://github.com/Niki173

欢迎大家有问题留言交流学习，共同进步成长。