PaddleDetection 快速上手

最新推荐文章于 2024-09-30 15:33:54 发布
最新推荐文章于 2024-09-30 15:33:54 发布
阅读量2.2k 收藏 20
点赞数
分类专栏： PaddlePaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yegeli/article/details/108903013
版权

PaddleDetection 快速上手

本项目以路标数据集roadsign为例，详细说明了如何使用PaddleDetection训练一个目标检测模型，并对模型进行评估和预测。

本项目提供voc格式的roadsign数据集和coco格式的roadsign数据集。

本项目提供 YOLOv3、FasterRCNN、FCOS这几个算法的配置文件。

您可以选择其中一个配置开始训练，快速体验PaddleDeteciton。

效果请戳这里：

PaddleDetection

欢迎到PaddleDetection主页查看更快更好的模型。

您也可以扫下面的二维码访问PaddleDetection github主页，欢迎关注和点赞_。

环境安装

1. AiStudio环境设置

# 查看当前挂载的数据集目录, 该目录下的变更重启环境后会自动还原
# View dataset directory. This directory will be recovered automatically after resetting environment. 
!ls /home/aistudio/data

# 查看工作区文件, 该目录下的变更将会持久保存. 请及时清理不必要的文件, 避免加载过慢.
# View personal work directory. All changes under this directory will be kept even after reset. Please clean unnecessary files in time to speed up environment loading.
!ls /home/aistudio/work

# 如果需要进行持久化安装, 需要使用持久化路径, 如下方代码示例:
# If a persistence installation is required, you need to use the persistence path as the following:
!mkdir /home/aistudio/external-libraries
!pip install beautifulsoup4 -t /home/aistudio/external-libraries

# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可:
# Also add the following code, so that every time the environment (kernel) starts, just run the following code:
import sys
sys.path.append('/home/aistudio/external-libraries')

2. 安装Paddle

AIStudio上已经安装好paddlepaddle 1.8.4。

import paddle
print(paddle.__version__)

3. 克隆PaddleDetection

通过以下命令克隆最新的PaddleDetection代码库。

! git clone https://github.com/PaddlePaddle/PaddleDetection

如果因为网络问题clone较慢，可以：

  1. 通过github加速通道clone

git clone https://hub.fastgit.org/PaddlePaddle/PaddleDetection.git

  1. 选择使用码云上的托管

git clone https://gitee.com/paddlepaddle/PaddleDetection

注：码云托管代码可能无法实时同步本github项目更新，存在3~5天延时，请优先从github上克隆。

  1. 使用本项目提供的代码库，存放路径work/PaddleDetection.zip

这里采用项目提供的代码库

! ls ~/work/PaddleDetection.zip

%cd ~/work/
! unzip -o PaddleDetection.zip

4. PaddleDetection依赖安装及设置

通过如下方式安装PaddleDetection依赖，并设置环境变量

安装 cocoapi

如果因为网络问题clone较慢，可以：

  1. 通过github加速通道clone

pip install "git+https://hub.fastgit.org/cocodataset/cocoapi.git#subdirectory=PythonAPI"

# github
#! pip install "git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI"

# fast github
# ! pip install "git+https://hub.fastgit.org/cocodataset/cocoapi.git#subdirectory=PythonAPI"

# 
! pip install pycocotools

设置环境

%cd ~/work/PaddleDetection/
!pip install -r requirements.txt

%env PYTHONPATH=.:$PYTHONPATH
%env CUDA_VISIBLE_DEVICES=0

验证安装

! python ppdet/modeling/tests/test_architectures.py

准备数据

本项目使用road-sign-detection 比赛数据，检测4种路标：

  • speedlimit
  • crosswalk
  • trafficlight
  • stop

划分成训练集和测试集，总共877张图，其中训练集701张图、测试集176张图。

本项目提供voc格式和coco格式的数据：

  1. voc格式：

    划分好的数据下载地址为： roadsign_voc.tar。

    AiStudio上数据地址：roadsign_voc

  2. coco格式：

    划分好的数据下载地址为：：roadsign_coco.tar。

    AiStudio上数据地址：roadsign_coco

将~/data/文件夹下的数据解压到PaddleDetection/dataset/文件夹下。

%cd ~/work/PaddleDetection/dataset/
! pwd
! ls ~/data -l
1. voc格式数介绍

VOC数据格式的目标检测数据，是指每个图像文件对应一个同名的xml文件，xml文件中标记物体框的坐标和类别等信息。

Pascal VOC比赛对目标检测任务，对目标物体是否遮挡、是否被截断、是否是难检测物体进行了标注。对于用户自定义数据可根据实际情况对这些字段进行标注。

xml文件中包含以下字段：

  • filename，表示图像名称。
<filename>road650.png</filename>
  • size，表示图像尺寸。包括：图像宽度、图像高度、图像深度
<size>
	<width>300</width>
	<height>400</height>
	<depth>3</depth>
</size>

  • object字段，表示每个物体。包括

    • name: 目标物体类别名称
    • pose: 关于目标物体姿态描述（非必须字段）
    • truncated: 目标物体目标因为各种原因被截断（非必须字段）
    • occluded: 目标物体是否被遮挡（非必须字段）
    • difficult: 目标物体是否是很难识别（非必须字段）
    • bndbox: 物体位置坐标，用左上角坐标和右下角坐标表示：xmin、ymin、xmax、ymax

将~/data/data49531/roadsign_voc.tar解压到PaddleDetection/dataset/roadsign_voc下

%cd ~/work/PaddleDetection/dataset/roadsign_voc/
! pwd

# copy roadsign_voc.tar and extract
! cp ~/data/data49531/roadsign_voc.tar .
! tar -xvf roadsign_voc.tar
! rm -rf roadsign_voc.tar

# 查看一条数据
! cat ./annotations/road650.xml
2. coco格式数介绍

coco数据格式，是指将所有训练图像的标注都存放到一个json文件中。数据以字典嵌套的形式存放。

json文件中存放了 info licenses images annotations categories的信息:

  • info中存放标注文件标注时间、版本等信息。
  • licenses中存放数据许可信息。
  • images中存放一个list，存放所有图像的图像名，下载地址，图像宽度，图像高度，图像在数据集中的id等信息。
  • annotations中存放一个list，存放所有图像的所有物体区域的标注信息，每个目标物体标注以下信息：
    {
    	'area': 899, 
    	'iscrowd': 0, 
        'image_id': 839, 
        'bbox': [114, 126, 31, 29], 
        'category_id': 0, 'id': 1, 
        'ignore': 0, 
        'segmentation': []
    }

将~/data/data49531/roadsign_coco.tar解压到PaddleDetection/dataset/roadsign_coco下

%cd ~/work/PaddleDetection/dataset/
! mkdir roadsign_coco
%cd ~/work/PaddleDetection/dataset/roadsign_coco/
! pwd

# copy roadsign_coco.tar and extract
! cp ~/data/data52968/roadsign_coco.tar .
! tar -xvf roadsign_coco.tar
! rm -rf roadsign_coco.tar

# 查看一条数据
import json
coco_anno = json.load(open('./annotations/train.json'))

# coco_anno.keys
print('\nkeys:', coco_anno.keys())

# 查看类别信息
print('\n物体类别:', coco_anno['categories'])

# 查看一共多少张图
print('\n图像数量：', len(coco_anno['images']))

# 查看一共多少个目标物体
print('\n标注物体数量：', len(coco_anno['annotations']))

# 查看一条目标物体标注信息
print('\n查看一条目标物体标注信息：', coco_anno['annotations'][0])

开始训练

本项目在work/hw_configs/目录下提供以下配置文件

  • yolov3_mobilenet_v1_roadsign_voc_template.yml
  • yolov3_mobilenet_v1_roadsign_coco_template.yml
  • ppyolo_resnet50_vd_roadsign_coco_template.yml
  • faster_rcnn_r50_roadsign_coco_template.yml
  • faster_rcnn_r50_vd_fpn_roadsign_coco_template.yml
  • fcos_r50_roadsign_coco_template.yml

将~/work/hw_configs.zip解压到 configs 文件夹下

%cd ~/work/PaddleDetection/

!unzip -o ~/work/hw_configs.zip -d configs/

! ls configs/hw_configs/

# 选择配置开始训练。可以通过 -o 选项覆盖配置文件中的参数

# faster_rcnn_r50_vd_fpn
! python -u tools/train.py -c configs/hw_configs/faster_rcnn_r50_vd_fpn_roadsign_coco_template.yml -o use_gpu=True --eval

# yolov3
#! python -u tools/train.py -c configs/hw_configs/yolov3_mobilenet_v1_roadsign_voc_template.yml -o use_gpu=True --eval

# fcos
#! python -u tools/train.py -c configs/hw_configs/fcos_r50_roadsign_coco_template.yml -o use_gpu=True --eval

您可以通过指定visualDL可视化工具，对loss变化曲线可视化。您仅需要指定 use_vdl 参数和 vdl_log_dir 参加即可。

点击左侧 可视化 按钮，设置 logdir 和模型文件，就可以对训练过程loss变化曲线和模型进行可视化。

# 选择配置开始训练。可以通过 -o 选项覆盖配置文件中的参数 vdl_log_dir 设置vdl日志文件保存路径

# faster_rcnn_r50_vd_fpn
! python -u tools/train.py -c configs/hw_configs/faster_rcnn_r50_vd_fpn_roadsign_coco_template.yml -o use_gpu=True --use_vdl=True --vdl_log_dir=vdl_dir/scalar --eval

# yolov3
#! python -u tools/train.py -c configs/hw_configs/yolov3_mobilenet_v1_roadsign_voc_template.yml -o use_gpu=True --use_vdl=True --vdl_log_dir=vdl_dir/scalar --eval

# fcos
#! python -u tools/train.py -c configs/hw_configs/fcos_r50_roadsign_coco_template.yml -o use_gpu=True --use_vdl=True --vdl_log_dir=vdl_dir/scalar --eval

评估和预测

PaddleDetection也提供了tools/eval.py脚本用于评估模型，评估是可以通过-o weights=指定待评估权重。

PaddleDetection训练过程中若开始了--eval，会将所有checkpoint中评估结果最好的checkpoint保存为best_model.pdparams，可以通过如下命令一键式评估最优checkpoint

这里我们加载预训练好的权重进行预测：

  • https://paddlemodels.bj.bcebos.com/object_detection/yolov3_best_model_roadsign.pdparams
  • https://paddlemodels.bj.bcebos.com/object_detection/faster_r50_fpn_best_model_roadsign.pdparams
  • https://paddlemodels.bj.bcebos.com/object_detection/fcos_best_model_roadsign.pdparams
# 评估

# faster_rcnn_r50_vd_fpn
! python -u tools/eval.py -c configs/hw_configs/faster_rcnn_r50_vd_fpn_roadsign_coco_template.yml -o use_gpu=True weights=https://paddlemodels.bj.bcebos.com/object_detection/faster_r50_fpn_best_model_roadsign.pdparams

# yolov3
#! python -u tools/eval.py -c configs/hw_configs/yolov3_mobilenet_v1_roadsign_coco_template.yml -o use_gpu=True weights=https://paddlemodels.bj.bcebos.com/object_detection/yolov3_best_model_roadsign.pdparams

# fcos
#! python -u tools/eval.py -c configs/hw_configs/fcos_r50_roadsign_coco_template.yml -o use_gpu=True weights=https://paddlemodels.bj.bcebos.com/object_detection/fcos_best_model_roadsign.pdparams

PaddleDetection提供了tools/infer.py预测工具，可以使用训练好的模型预测图像并可视化，通过-o weights=指定加载训练过程中保存的权重。

预测脚本如下：

img_path = './dataset/roadsign_voc/images/road554.png'

# faster_rcnn_r50_vd_fpn
! python tools/infer.py -c configs/hw_configs/faster_rcnn_r50_vd_fpn_roadsign_coco_template.yml -o use_gpu=True weights=https://paddlemodels.bj.bcebos.com/object_detection/faster_r50_fpn_best_model_roadsign.pdparams --infer_img=dataset/roadsign_voc/images/road554.png

# yolov3
#! python tools/infer.py -c configs/hw_configs/yolov3_mobilenet_v1_roadsign_voc_template.yml -o use_gpu=True weights=https://paddlemodels.bj.bcebos.com/object_detection/yolov3_best_model_roadsign.pdparams --infer_img=dataset/roadsign_voc/images/road554.png

# fcos
#! python tools/infer.py -c configs/hw_configs/fcos_r50_roadsign_coco_template.yml -o use_gpu=True weights=https://paddlemodels.bj.bcebos.com/object_detection/fcos_best_model_roadsign.pdparams --infer_img=dataset/roadsign_voc/images/road554.png

%matplotlib inline
import matplotlib.pyplot as plt 
import cv2

infer_img = cv2.imread("output/road554.png")
plt.figure(figsize=(15,10))
plt.imshow(cv2.cvtColor(infer_img, cv2.COLOR_BGR2RGB))
plt.show()

模型压缩

如果您要对模型进行压缩，PaddleDetection中模型压缩部分提供以下模型压缩方式：

模型部署

如果您要部署模型，请参考模型部署部分提供以下部署方式：
YEGE学AI算法
关注
专栏目录
PaddleDetection训练流程详解
weixin_54381767的博客
02-06 2882
yolov3_reader.yml：定义数据预处理方式，数据读取器配置，如batch size，并发加载子进程数等，同时包含读取后预处理操作，如resize、数据增强等等。vdl_log_dir 设置vdl日志文件保存路径： --use_vdl=True --vdl_log_dir=vdl_dir/scalar --eval。，例如-c configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.yml。voc.yml：定义训练数据和验证数据的路径。
PaddleDetection使用教程
06-10
PaddleDetection使用教程
PaddleDetection2.x训练、部署自己的模型
女神sha手的博客
08-17 5108
PaddleDetection是百度Paddle家族的一个目标检测开发套件。个人感觉Paddle的优点是模型比较丰富，支持的部署方式较多（python、C++、移动端等），缺点是坑比较多，百度的老毛病了，什么都弄一点，但都不精通。本文研究了下PaddleDetection的使用流程，从自己的数据集（coco类型），记录下整个训练、推理、部署的过程。...
PaddleDetection0.2.zip
07-19
用于制作数据集，在制作好包含数据集后再进行上传，方便快捷，对于新手来说出现bug的几率小，而且不用在进入项目后再下载等待）文件我已经上传到资源里了，进入在线环境直接解压即可。
PaddleDetection 自定义训练目标检测
最新发布
长安不及十里的博客
09-30 1451
PaddleDetection是一个基于PaddlePaddle的目标检测端到端开发套件，在提供丰富的模型组件和测试基准的同时，注重端到端的产业落地应用，通过打造产业级特色模型|工具、建设产业应用范例等手段，帮助开发者实现数据准备、模型选型、模型训练、模型部署的全流程打通，快速进行落地应用。
PaddleDetection简单教程
热门推荐
qq_56591814的博客
07-27 1万+
简单介绍了paddledetection的用法，并在paddle学习赛——钢铁缺陷检测上试验了ppyoloe+模型
PaddleDetection-release-2.5-源码.rar
09-03
在源码的`example`目录下，PaddleDetection提供了详细的训练和推理示例，包括配置文件、脚本和可视化工具，帮助用户快速上手。 总结，PaddleDetection 2.5作为一个开源的目标检测框架，不仅具备丰富的模型库和高效...
PaddleDetection快速上手及问题排查
wangxw0611的博客
11-10 3699
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
PaddleDetection-release-2.5.zip
04-23
这些资源使得研究人员和开发者能够快速上手，进行模型的训练和验证。配置文件详细定义了模型结构、训练参数、优化器设置等，可以根据实际需求进行调整。预训练模型则可以直接用于测试，或作为新模型训练的基础。 ...
PaddleDetection学习（一）
weixin_40620310的博客
12-07 3586
PaddleDetection学习（一） 安装 GitHub地址：https://github.com/PaddlePaddle/PaddleDetection 1、安装PaddlePaddle框架 # CUDA 10.1 python -m pip install paddlepaddle-gpu==2.2.0.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html # CPU python -m pip inst
PaddleDetection训练目标检测模型
qq_45437316的博客
11-18 2779
生成预标注 --save_results 保存推理结果，需要修改推理源码，保存推理结果至json文件。官网地址：https://developer.android.com/studio。创建label_list.txt，写入标注数据的类别。1，用labelimg标注voc格式的标注数据。2，下载JDK，SDK，NDK，CMake。标注-训练-预测-标注-训练。
[PaddleDetection保姆级教程]使用自定义数据集实现跌倒识别预测
weixin_47349091的博客
07-04 4665
PaddleDetection介绍 PaddleDetection是基于PaddlePaddle的端到端对象检测开发工具包，旨在帮助开发人员在训练模型的整个开发，优化性能和推理速度以及部署模型方面提供帮助。PaddleDetection在模块化设计中提供了各种对象检测体系结构，并提供了丰富的数据增强方法，网络组件，丢失功能等。PaddleDetection支持实际项目，例如工业质量检查，遥感图像对象检测以及具有模型等实际功能的自动检查。压缩和多平台部署。 手把手教你在AIStudio平台上使用PaddleD
PaddleDetecion——红绿灯检测：PaddleDetection-SSD_Mobilenet-VOCdataset
Irving.Gao的博客
05-11 5428
最近在做智能车人工智能组的线上赛，赛题分为两个：一个是人流密度检测，另一个是红绿灯识别，我在小队中的任务是做第二部分，红绿灯识别。一开始的时候建立模型的时选用的是SSD_Mobilenet_v1模型，权重也是预训练好的默认权重，我们只需要直接在预训练的基础上训练自己的数据集，得到新的权重，然后用该权重进行预测即可。 文章目录PaddleDetection数据集准备基于PaddleDetction模型的运行配置项目准备基于AI Studio的PaddleDetction基础运行操作解压数据集和环境资源配置.
技术公开课实录：图像检测库PaddleDetection助力遥感图像检测
PaddlePaddle
12-26 882
导读：飞桨（PaddlePaddle）致力于让深度学习技术的创新与应用更简单。为了让更多的开发者了解飞桨的最近技术进展，特别组织了系列技术稿件，视频来源于2019 WaveSummit...
PaddleDetection从入门到精通
qq_58997690的博客
07-20 1172
num_max_boxes边框最大数量；base_lr：# 学习率决定了权值更新的速度，学习率越大，更新的速度就越快，但太快容易跳过最优解，而学习率太小更新的越慢，效率低。image_dir是图像目录，路径相对于dataset_dir；anno_path是注释文件目录，路径相对于dataset_dir；标签名包括'ball'、'racket'、'hand'。milestones：#学习率变动因子：如迭代10000次时，学习率衰减10倍，15000次迭代时，学习率又会在前一个学习率的基础上衰减15倍。
[Paddle Detection]基于PP-YOLOE+实现道路场景目标检测及部署
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
12-27 3952
该项目着眼于基于视觉深度学习的自动驾驶场景，旨在对车载摄像头采集的视频数据进行道路场景解析，为自动驾驶提供一种解决思路。利用YOLO系列模型PP_YOLOE+完成车辆检测实现一种高效高精度的道路场景解析方式,从而实现真正意义上的自动驾驶，减少交通事故的发生，保障车主的人身安全。数据集地址视频数据： 超过1,100小时的100000个高清视频序列在一天中许多不同的时间，天气条件，和驾驶场景驾驶经验。视频序列还包括GPS位置、IMU数据和时间戳。道路目标检测。
基于Paddle的计算机视觉入门教程【学习笔记】（6）PaddleDetection安装
一名FPGA芯片设计爱好者的技术博客
03-25 4371
版本要求: PaddlePaddle 2.2 cuDNN v8.1.1 CUDA 11.2.2 PaddleDetection 版本 PaddlePaddle版本 备注 release/2.1 >= 2.1.0 默认使用动态图模式 一、安装PaddlePaddle PaddlePaddle我已经安装过了，版本为2.2，安装教程：https://blog.csdn.net/qq_44447544/article/details/123432542 二、安装PaddleDetect
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YEGE学AI算法

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值