pytorch 吸烟检测yolov5s

YOLOV5s +吸烟目标检测

参考学习

文章目录

 

​ 首先:附上Github传送门:https://github.com/CVUsers/Smoke-Detect-by-YoloV5/tree/master,而后根据本文手把手配置环境+训练本身数据,或者使用我训练好的模型进行使用。用yolov5s训练好的已经放在了里面,用大模型训练的因为大小缘由,须要的话能够戳最下方微信私聊我,免费。python

1、项目展现

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fwpaKe70-1594698054779)(D:\CSDN\pic\吸烟检测\0.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hUenvq7F-1594698054781)(D:\CSDN\pic\吸烟检测\0.5.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JEV7mZfK-1594698054784)(D:\CSDN\pic\吸烟检测\1.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mgb0QwvX-1594698054788)(D:\CSDN\pic\吸烟检测\1594683546122.png)]

左图为原图,右图为推理后的图片,以图片方式展现,视频流和实时流也能达到这个效果,因为视频大小缘由,暂不上传,感兴趣的朋友细细往下看,并点个关注哟!git

测试配置:GTX1050ti,不堪入目,可是实验效果还不错,再这样弱的配置下,使用YOLOv5s,YOlov5m等皆能达到30fps。github

2、项目资源共享

1:训练图片:香烟图片+吸烟手势+烟雾

香烟图片:本身编写爬虫爬了1w张,筛选下来有近1000张可用,以及其余途径获取到的,总共暂时5k张,将来会愈来愈多,后续须要的能够私聊我,如今先放出5k张图片,另外加上本身辛辛苦苦使用Labelimg标注的几千张图片的XML文件也一并送上,香烟图片质量可查传送门:连接:https://pan.baidu.com/s/1t8u94x51TO7pLciU8AoaiQ
提取码:n2wr:以下图web

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eruZx8Ri-1594698054790)(D:\CSDN\pic\吸烟检测\3.png)]

吸烟手势图片:算法

在这里插入图片描述

火灾+烟雾数据集:微信

这个数据集我已经有了10万左右数据,部分是朋友的,不知能不能开源,我能够送上本身收集的几万数据集。传送门:框架

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GFsXlbwe-1594698054792)(D:\CSDN\pic\吸烟检测\1594687477452.png)]

项目框架:YOLOV5——Pytorch实现dom

送上做者源码传送门:https://github.com/ultralytics/yolov5,固然也能够直接使用个人:https://github.com/CVUsers/Smoke-Detect-by-YoloV5/tree/master。ide

标注工具:Labelimgsvg

附上Windows工具:在我上面的github里面有哟:下载好放置桌面比较方便。

3、实践教学

3.1环境配置

本例以使用YOLov5做者源码步骤:

Cython
numpy==1.17
opencv-python
torch>=1.4
matplotlib
pillow
tensorboard
PyYAML>=5.3
torchvision
scipy
tqdm

个人是torch 1.5 gpu版

在git clone下做者的v5源码后: 目录切至requirement.txt 下而后

pip install -U -r requirements.txt

若是须要使用混合精度模型来作训练:安装Apex

git clone https://github.com/NVIDIA/apex && cd apex 而后切换至目录下
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" . --user && cd .. && rm -rf apex

3.2数据标注与预处理

以吸烟数据集为例:

在百度网盘下载好个人数据集和XML

如果想从新训练的话

3.2.1附上本身的Lablimg简易教学:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ctuoGjSX-1594698054796)(D:\CSDN\pic\吸烟检测\7.png)]

标注好会生成XML文件:XML里面包含了四个点坐标和图片的名字与size。

而后在data下新建几个文件夹:

在这里插入图片描述

将咱们的XML文件放至Annotations

将咱们的图片放到images

在ImageSets中新建Main 和test.txt 和train.txt

再新建labels存放接下来生成的标签

3.2.2 几个本身写的脚本用于转换数据集与训练前准备

第一个:XML文件转label.txt文件

首先写个os操做读一下data/images中图片:这个几行搞定,要注意要写成我这样的哟 (不用生成.jpg)能够经过split(’.’)再复制到ImageXML中

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TUcelHlM-1594698054806)(D:\CSDN\pic\吸烟检测\10.png)]

而后运行voc_label.py脚本:

# 坐标xml转txt
import os
import xml.etree.ElementTree as ET

classes = ["smoke"]  # 输入名称,必须与xml标注名称一致

def convert(size, box):
    print(size, box)
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)


def convert_annotation(image_id):
    print(image_id)
    in_file = open(r'./data/Annotations/%s.xml' % (image_id), 'rb')  # 读取xml文件路径

    out_file = open('./data/labels/%s.txt' % (image_id), 'w')  # 须要保存的txt格式文件路径
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        cls = obj.find('name').text
        if cls not in classes:  # 检索xml中的名称
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


image_ids_train = open('./ImageXML.txt').read().strip().split()  # 读取xml文件名索引

for image_id in image_ids_train:
    print(image_id)
    convert_annotation(image_id)


须要注意,如果有中文路径的话,请这样读文件:

 open(r'./data/Annotations/%s.xml' % (image_id), 'rb')

接下来就会在data/labels中看到:全部的txt标签

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YGacBoN7-1594698054808)(C:\Users\acer\AppData\Roaming\Typora\typora-user-images\1594690060070.png)]

每一个txt文本会生成一共5个数字:第一个是整形的数,表示类别:0表明第一类,以此类推,后面四个数字是坐标经过归一化后的表示。

3.2.3 切分训练集与测试集:

执行train_test_split.py

import os
import random

trainval_percent = 1  # 可自行进行调节
train_percent = 1
xmlfilepath = './data/Annotations'
txtsavepath = './data/ImageSets\Main'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

# ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('./data/ImageSets/Main/test.txt', 'w')
ftrain = open('./data/ImageSets/Main/train.txt', 'w')
# fval = open('ImageSets/Main/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        # ftrainval.write(name)
        if i in train:
            ftest.write(name)
        # else:
        # fval.write(name)
    else:
        ftrain.write(name)

# ftrainval.close()
ftrain.close()
# fval.close()
ftest.close()

其中trainval_percent = 1表示验证集比例,1表明1:9 若是有5000张图片,就会切割成4500张训练集,和500张验证集。

trainval_percent = 1  # 可自行进行调节

运行path_trans补全路径,并写入train.txt

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets = ['train', 'test']

classes = ['smoke']  # 本身训练的类别


def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)


def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id), 'rb')
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


wd = getcwd()
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

接下来编写yaml文本:
见smoke.yaml

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SNIdxzTn-1594698054813)(D:\CSDN\pic\吸烟检测\1594691005832.png)]

将咱们上一步生成的train.txt 和test.txt 补全路径后的这两个txt路径写入到yaml中,而后nc:修改成本身类别的数量,以及names【‘smoke’】

4、开始训练

4.1:开始训练

在上面咱们作好数据预处理后,就能够开始训练了,上面的一些处理步骤,每一个人均可能不一样,不过大致上思路是一致的。

接下来咱们能够进行预训练,下载官方的预训练模型:
yolov5s yolov5m yolov5l yolov5x来 我在个人github中方了yolov5s,比较小,只有25mb,专门为移动端考虑了,真好。

固然也能够不使用预训练模型,使用与否,在总时间上是差很少的,不过

为何要使用预训练模型?

做者已尽其所能设计了基准模型。咱们能够在本身的数据集上使用预训练模型,而不是从头构建模型来解决相似的天然语言处理问题。

尽管仍然须要进行一些微调,但它已经为咱们节省了大量的时间:一般是每一个损失降低更快和计算资源节省

加快梯度降低的收敛速度

更有可能得到一个低模型偏差,或者低泛化偏差的模型

下降因未初始化或初始化不当致使的梯度消失或者梯度爆炸问题。此状况会致使模型训练速度变慢,崩溃,直至失败。

其中随机初始化,能够打破对称性,从而保证不一样的隐藏单元能够学习到不一样的东西

接下来开始训练:

 python train.py --data data/smoke.yaml --cfg models/yolov5s.yaml --weights weights/yolov5s.pt --batch-size 10 --epochs 100

解释一下:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vuVhuRvJ-1594698054817)(D:\CSDN\pic\吸烟检测\1594693318445.png)]

咱们–data data/smoke.yaml 中就是在smoke.yaml中撰写的训练代码路径和类别等data,经过这个获取训练的图片和label标签等。

而后-cfg models/yolov5s.yaml 和 --weights weights/yolov5s.pt是获取配置和预训练模型权重

batch-size 10 你们都懂,default是16,你们能够改为16,在yolov5s中模型参施很少,百万左右,因此显存消耗很少,个人配置不好,显存4g,在使用yolov5m中以及不能调到16。

会报cuda out of memory 报错,就把batch size下降就行。

而后最后是epoch,这个也不用解释,我在使用yolov5m训练5k张图片在100epoch中花费 了24小时,一个epoch13分钟。

训练过程当中,会慢慢在runs中生成tensorboard,可视化损失降低

固然也能够在本地稍微看看:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tSjJFqPI-1594698054819)(D:\CSDN\pic\吸烟检测\1594694078732.png)]

这幅图中,咱们的类别只有1个,第三幅图显示了咱们数据中的宽高比,归一化后,广泛在0.1左右,说明数据确实很小,也会面临模糊问题,致使数据质量下降。

4.2:训练过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AwsYh6Fd-1594698054821)(D:\CSDN\pic\吸烟检测\1594694802784.png)]

分别是epoch,显存消耗…其余的你们能够查看源码

4.3:训练优化

使用混合精度模型

在前面配置好环境后:

mixed_precision = True
try:  # Mixed precision training https://github.com/NVIDIA/apex
    from apex import amp
except:
    print('Apex recommended for faster mixed precision training: https://github.com/NVIDIA/apex')
    mixed_precision = False  # not installed

判断是否可用apex作混合精度模型训练

而后

    if mixed_precision:
        model, optimizer = amp.initialize(model, optimizer, opt_level='O1', verbosity=0)

在optimizer中amp初始化一下 o1表明级别,注意是欧 不是零。

接着:

            if mixed_precision:
                with amp.scale_loss(loss, optimizer) as scaled_loss:
                    scaled_loss.backward()

优化反向传播。

组装到cuda训练

    opt.img_size.extend([opt.img_size[-1]] * (2 - len(opt.img_size)))  # extend to 2 sizes (train, test)
    device = torch_utils.select_device(opt.device, apex=mixed_precision, batch_size=opt.batch_size)
    if device.type == 'cpu':
        mixed_precision = False

4.4 训练参数:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BRPhpP1F-1594698054825)(D:\CSDN\pic\吸烟检测\1594695858251.png)]

详情参见注释。

5、实时检测

运行detect.py便可

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kxk153R0-1594698054828)(D:\CSDN\pic\吸烟检测\1594696030729.png)]

其中,推理一张图片,那么就在–source中的default写上图片路径,

也能够如图写上整个图片文件夹,这样会检测全部图片。

也能够写上视频地址和视频文件夹,检测全部视频,存放于inference 的out中。

改为0 就是实时检测了~默认电脑摄像头,固然也能够改为手机。这个也很简单,须要的能够私聊我,微信会放在最下方。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gaXEwy1a-1594698054830)(D:\CSDN\pic\吸烟检测\1594696346542.png)]

帧率很高,普通设备也能达到30+,可谓是速度极快,要是你们设备好一些,能够试一下YOLOv5L和YOLOV5x,跑完了能够私聊分享一下,与我交流。

6、YOLO系列可视化对比

类别100类

每类300张图片

测试图片1087张,阀值0.5 ,预测正确

           yolov3-tiny      yolov4       yolov5

预测结果 737 954 955

模型大小 33.97M 246.19M 28.99M(yolov5s.pt)

yolov5s的精度和yolov4差很少,但模型大小只有yolov4的11.77%(我的数据集,数据可能有点误差,但仍是能说明问题的)

实时对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-soSpEIJF-1594698054832)(D:\CSDN\pic\吸烟检测\1594697092978.png)]

附上视频:https://www.bilibili.com/video/av328439400/

7、写在后面

这篇文章大体介绍了yolov5的自训练,接下来咱们能够进行调优。已经作消融对比实验,慢慢的更熟悉目标检测。继续我会在下篇中介绍文中的一些技术栈,让你们知根知底。

所有连接传送门

最后再发一次全部的连接!

香烟数据集:连接:https://pan.baidu.com/s/1t8u94x51TO7pLciU8AoaiQ
提取码:n2wr

吸烟手势数据集:连接:https://pan.baidu.com/s/1BSH4yn3GBzF3hDTWAqKzDQ
提取码:9r8t

烟雾数据集:连接:https://pan.baidu.com/s/1RKvkkmfpHiPunkFMAEdoAQ
提取码:ag0x

YOLOv5 原做者github:https://github.com/ultralytics/yolov5

个人github :https://github.com/CVUsers/Smoke-Detect-by-YoloV5/tree/master 欢迎star ,将长期更新!

最后还有不少知识点没分享,关注一下博主,下次分享。

另外欢迎加入深度学习算法交流群,与群内工程师朋友门一块儿交流学术,共商算法,加油!

 

  • 5
    点赞
  • 64
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
### 回答1: YOLOv5 是一种目标检测算法,它是基于PyTorch深度学习框架构建的。YOLOv5 是YOLO(You Only Look Once)系列算法的最新版本,相比于之前的版本,它在精度和速度上都有很大的提升。 PyTorch Hub 是一个用于简化模型共享和使用的工具,它可以方便地加载已经发布的预训练模型,包括YOLOv5等。YOLOv5s 是YOLOv5系列中的一个小型模型,它在计算资源有限的情况下仍能提供不错的检测性能。 在使用 PyTorch Hub 加载 YOLOv5s 进行人头检测时,我们可以通过一些简单的步骤来实现。首先,我们需要安装 PyTorch 和 torch hub 库。然后,通过以下代码加载模型并进行人头检测: ```python import torch model = torch.hub.load('ultralytics/yolov5', 'yolov5s') results = model('path/to/image.jpg') ``` 在上述代码中,'path/to/image.jpg' 是待检测的图像路径,可以根据实际情况进行修改。结果将返回检测到的人头及其相关信息,包括坐标和置信度等。我们可以根据这些结果来进一步处理或展示目标检测的结果。 YOLOv5s 相对于其他版本的 YOLOv5 来说是一个较小的模型,因此在资源有限的情况下更加适用。它可以在保持较高检测精度的同时,实现更快的推理速度。因此,当我们需要进行人头检测时,YOLOv5s PyTorch Hub 可以是一个很好的选择。 ### 回答2: YOLOv5s是一种基于PyTorch的目标检测模型,可以用于人头检测任务。它是YOLO(You Only Look Once)系列中的一种,采用轻量化结构,适用于在计算资源有限的设备上进行实时检测YOLOv5s是通过PyTorch Hub提供的一种预训练模型。PyTorch Hub是一个预训练模型的集合,提供了各种模型的预训练权重,可以方便地在Python代码中加载和使用。 通过PyTorch Hub,我们可以使用以下代码加载和使用YOLOv5s进行人头检测: ```python import torch model = torch.hub.load('ultralytics/yolov5', 'yolov5s') ``` 加载完成后,我们可以使用模型对图像或视频进行人头检测。例如,对于一张图像,我们可以使用以下代码进行检测: ```python results = model('path/to/image.jpg') ``` 此时,`results`将包含检测到的人头的位置、置信度等信息。我们可以根据需要进一步处理这些结果,如绘制边界框或计算检测到的人头数量。 总之,YOLOv5s是一种通过PyTorch Hub提供的预训练模型,可以用于人头检测任务。通过加载模型并使用相应的函数,我们可以方便地进行人头检测并获取检测结果。 ### 回答3: YOLOv5s是一种基于PyTorch Hub的人头检测模型。YOLOv5s是YOLO(You Only Look Once)系列的最新版本,它采用了轻量级的结构,同时保持了较高的检测精度。PyTorch Hub是一个开源的模型库,可以方便地从中心存储库中找到和使用各种深度学习模型。 使用YOLOv5s进行人头检测非常简单。首先,您需要安装PyTorch和Torch Hub库。然后,在您的代码中引入YOLOv5s模型,并从PyTorch Hub中加载预训练的权重。 一旦模型被加载,您可以通过将图像传递给模型来进行人头检测YOLOv5s模型将返回一个包含检测结果的列表,其中每个检测结果都包括一个边界框和对应的置信度得分。 您可以根据置信度得分对检测结果进行筛选,并根据需要进行后续处理,如绘制边界框或计算头部数量。此外,您还可以在YOLOv5s的基础上进行进一步的自定义,以满足特定的需求。 总之,使用YOLOv5s模型进行人头检测是非常简单和高效的。借助PyTorch Hub的便利,您可以快速加载预训练的权重并进行检测YOLOv5s的轻量级结构使其适用于各种场景,并且具有较高的检测精度。因此,YOLOv5s在人头检测任务中是一个非常实用的解决方案。
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值