【膜拜大神】Tensorflow+YOLO v3训练自己的数据集合（TF-Slim）-下

最新推荐文章于 2024-08-05 18:41:17 发布
最新推荐文章于 2024-08-05 18:41:17 发布
阅读量1.2w 收藏 47
点赞数 4
分类专栏： yolo 文章标签： yolov3 tensorflow 训练
本文介绍了如何使用Tensorflow和YOLOv3框架训练自己的数据集，包括训练浣熊数据集和其他数据集的步骤。详细讲解了YOLO算法的神奇之处，如anchor聚类、结构细节、神经网络输入输出和过滤策略。同时提供了一个快速入门指南和源代码链接。
摘要由CSDN通过智能技术生成

做个快乐的搬运工~

在此立下flag：等找到实习我就去跑一跑代码，认真读程序，认真的，真的……

----------------------------------------------------------------------------------------------------------------------------------------------------------------

译自：

YunYang1994/tensorflow-yolov3: pure tensorflow Implement of YOLOv3 with support to train your own dataset

上篇：

【膜拜大神】Tensorflow实现YOLO v3（TF-Slim） - haoqimao_hard的博客 - CSDN博客  

划重点：如果我这样涉嫌侵权，请看到的读者提醒我或者联系我删除！！！

第1部分 简介

在Tensorflow（TF-Slim）中实现了YOLO v3，该灵感来自PawełKapica。完整的细节在本文中。在此项目中，我们涵盖了以下几个部分：

  •  YOLO v3架构
  •  权重转换器（用于将加载的COCO权重导出为TF的checkpoint）
  •  基本demo
  • GPU和CPU都支持的非极大值抑制
  •  训练流程
  •  计算COCO mAP

此教程允许您快速了解YOLO 。

第2部分 快速入门

1.下载文件包

git clone https://github.com/YunYang1994/tensorflow-yolov3.git

 2. 安装依赖项

cd tensorflow-yolov3
pip install -r ./docs/requirements.txt

3. 将加载的COCO权重导出为TF checkpoint（yolov3.ckpt）和 frozen graph（yolov3_gpu_nms.pb）。yolov3的权重可以从这里下载：yolov3.weights，下载后将其放入./checkpoint目录中

python convert_weight.py --convert --freeze

4. 此时你会发现./checkpoint目录下多了一些.pb文件，运行demo脚本： 

python nms_demo.py
python video_demo.py # if use camera, set video_path = 0

å¾ç

第3部分 训练自己的数据集

需要三个文件如下：

  • 图片路径及标签信息文件dataset.txt：
xxx/xxx.jpg 18.19 6.32 424.13 421.83 20 323.86 2.65 640.0 421.94 20 
xxx/xxx.jpg 55.38 132.63 519.84 380.4 16
# image_path x_min y_min x_max y_max class_id  x_min y_min ... class_id
  • 预设anchor文件anchors.txt
0.10,0.13, 0.16,0.30, 0.33,0.23, 0.40,0.61, 0.62,0.45, 0.69,0.59, 0.76,0.60,  0.86,0.68,  0.91,0.76
  • 类别名class.names
person
bicycle
car
...
toothbrush

3.1 训练浣熊数据集

（1）训练

为了帮助大家了解训练过程，我做了这个pipline的demo。浣熊数据集只有200个图像（训练180个，测试20个），我在./scripts文件夹下保存了一个shell脚本，可以让你获取数据并进行训练！

sh scripts/make_raccoon_tfrecords.sh
python show_input_image.py               # show your input image (optional)
python kmeans.py                         # get prior anchors and rescale the values to the range [0,1]
python convert_weight.py --convert       # get pretrained weights
python quick_train.py
tensorboard --logdir ./data

（2）测试和评估

正如你在tensor board中看到的那样，如果数据集太小或者训练时间太长，模型会开始过拟合，并从训练数据中学习不适用于测试数据的模式。

python convert_weight.py -cf ./checkpoint/yolov3.ckpt-2500 -nc 1 -ap ./data/raccoon_anchors.txt --freeze
python quick_test.py
python evaluate.py

å¾®åï¼æ å¿å¾®åï¼æ å¿

如果仍然不熟悉训练流程，可以到此处与作者进行讨论。

3.2 训练其他数据集

（1）下载VOC PASCAL 数据

wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar

（2）下载COCO trainval和测试数据

wget http://images.cocodataset.org/zips/train2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
wget http://images.cocodataset.org/zips/test2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip

第4部分 为什么YOLO算法如此神奇？

YOLO代表 You Only Look Once，它用CNN学习的特征来检测物体。虽然我们已成功运行这些代码，但我们应该了解YOLO的原理。

题外话：关于yolov3原理的文章，网上也有很多了，相信大家也是了解了才来这里的哈哈

4.1 anchor聚类

本文建议在边界框形状上使用聚类来找到适合数据的anchor。更多细节见这里 

å¾ç

4.2 结构细节

在这个项目中，我用了预训练权重。COCO数据集中有80个类， 1到80之间的每个整数表示相应的类标签。如果c=3，则分类对象是 car。由CNN学习的图像特征被传递到分类器和回归器上进行检测（边界框坐标，类别标签等）。详细信息请参见下图。（感谢Levio）

图片

4.3 神经网络输入输出

  • 输入：[None，416,416,3]
  • 输出：矩形框中存在某目标的置信度，bounding box的位置和大小以及被检测到的目标类别(Rx, Ry, Rw, Rh, Pc, C1..Cn)。如上所述，bx, by, bw, bh代表bounding box的信息，Pc是置信度，n=80，即最后80个数字各自是对应类的概率。

4.4 使用分数阈值进行过滤

输出结果可能包含几个误检或重叠的bounding box，如果输入图像大小为[416, 416, 3]，将获得(52*52+26*26+13*13)x3=10647框，因为YOLO v3使用9个anchor进行检测。（每个比例三个）。减少这些框的第一个方法是按分数阈值过滤它们。

输入参数：

  • boxes：[10647,4]
  • scores：[10647, 80]，包含80个类的检测分数。
  • score_thresh：可变值，去掉分数低的框
# Step 1: Create a filtering mask based on "box_class_scores" by using "threshold".
score_thresh=0.4
mask = tf.greater_equal(scores, tf.constant(score_thresh))

4.5 非极大值抑制

即使通过阈值过滤后，仍然会有很多重叠的框。

第二种方法是非极大值抑制。

  • 舍弃所有 Pc <= 0.4的框
  • 如果还有剩余的框：
    • 选择Pc最大的那个框 
    • 舍弃与上一步框的IOU>=0.5的框

在tensorflow中实现非极大值抑制：（更多细节见这里）

for i in range(num_classes):
    tf.image.non_max_suppression(boxes, score[:,i], iou_threshold=0.5)

这是一个非极大值抑制的例子：在输入时，函数接收4个重叠的边界框，输出只返回一个

图片

欢迎与我（原作者）讨论。

第5部分 其他实现

- YOLOv3_TensorFlow

- Implementing YOLO v3 in Tensorflow (TF-Slim)

- Object Detection using YOLOv2 on Pascal VOC2012

- Understanding YOLO

- YOLOv3目标检测有了TensorFlow实现，可用自己的数据来训练

- 学员分享 | 小哥哥和用YOLOv3做目标检测的故事「文末送课」

- 目标检测|YOLOv2原理与实现(附YOLOv3)

- YOLOv2は、2016年12月25日時点の、速度、精度ともに世界最高のリアルタイム物体検出手法です。

- 知乎专栏-目标检测yolov2

好奇ju
关注
专栏目录
Keras/Tensorflow+python+yolo3训练自己的数据集
Patrick_Lxc的博客
06-07 10万+
代码：https://github.com/qqwweee/keras-yolo3修改yolov3.cfg文件：https://blog.csdn.net/lilai619/article/details/79695109本文介绍如何制作数据集、修改代码、不加载预权重从头跑自己的训练数据一、简单回顾一下yolo原理：    1、端到端，输入图像，一次性输出每个栅格预测的一种或多种物体    2、坐...
window10+tensorflow+Keras cpu版本的YOLO V3 训练自己的数据集
weixin_42781695的博客
07-06 1365
目录 前言 一、程序下载和准备工作 二、开始训练自己数据 1.生成ImageSet/Main/下面的4个文件，用于读取数据的路径和标签信息等，从而完成数据集的制作。在VOC2007下新建一个test.py的文件，运行下面的代码 2.运行工程里面的voc_annotation.py,用于将参数列表提取出来。注意把代码中的类别改成自己数据中的打标签的那几种类别，这下面是我自己的类别。 3.把工程下面的model_data里面的coco_classes.tx...
tensorflow版本的YOLO v3，在Windows系统下亲测可运行(Python)
05-12
tensorflow版本的YOLO v3，在Windows系统下亲测可运行，代码完整，包含训练测试demo等等，上手简单容易，无需复杂的环境，tensorflow版本的YOLO v3，在Windows系统下亲测可运行，代码完整，包含训练测试demo等等，上手简单容易，无需复杂的环境，tensorflow版本的YOLO v3，在Windows系统下亲测可运行，代码完整，包含训练测试demo等等，上手简单容易，无需复杂的环境，tensorflow版本的YOLO v3，在Windows系统下亲测可运行，代码完整，包含训练测试demo等等，上手简单容易，无需复杂的环境，tensorflow版本的YOLO v3，在Windows系统下亲测可运行，代码完整，包含训练测试demo等等，上手简单容易，无需复杂的环境
【tensorflow-slim】使用tensroflow-slim训练自己的图像分类数据集+冻成pb文件+预测（本文针对场景分类，手把手详细教学！）
froot的博客
06-16 1449
tensorflow-slim place classication dataset convert to tf 4gedifang from __future__ import absolute_import from __future__ import division from __future__ import print_function import math import os import random import sys import tensorflow as tf
目标检测 | yolov3 原理和介绍
最新发布
hhl_work的博客
08-05 1439
YOLOv3 擅于预测出合适的目标，但无法预测出非常精准的边界框。YOLOv3 小目标预测能力提升，但中大目标的预测反而相对较差。若将速度考量进来，YOLOv3 整体来说表现非常出色。YOLOv3在小目标\密集目标的改进1.grid cell个数增加，YOLOv1（7×7），YOLOv2（13×13），YOLOv3（13×13+26×26+52×52）2.YOLOv2和YOLOv3可以输入任意大小的图片，输入图片越大，产生的grid cell越多，产生的预测框也就越多。
tensorflow yolov3训练自己的数据集，详细教程
蒋程扬的部落格
12-23 1万+
在github上下载yolov3的tensorflow版本： https://github.com/YunYang1994/tensorflow-yolov3 其实在作者的readme上已经写了训练的方法，但是不是那么详细，于是记录下 一，制作训练集 1，打标签 训练集需要实验labelimg工具进行制作，这里的数据集格式采用的是voc格式： labelimg下载地址 实验labelimg打好标签...
TensorBoard对YOLOv5可视化训练，稀疏化bn_weight 不显示
zi_Fei_yang的博客
04-01 971
YOLOv5利用TensorBoard对BN层可视化失效，正常和稀疏化训练没有results.csv文件
YunYang1994/tensorflow-yolov3 训练自己的数据集
Dontla的博客
10-22 1万+
图片啥的都准备好了，也将YOLO格式的标注转换成PascalVOC格式的标注了，结果打开D:\Yolov3_Tensorflow\tensorflow-yolov3\data\dataset里的voc_test.txt和voc_train一看，咋是这个格式的，让人大吃一惊Σ(っ °Д °;)っ ...
tensorflow-yolo-v3：在Tensorflow（TF-Slim）中实现YOLO v3对象检测器的实现
02-05
在Tensorflow（TF-Slim）中实现YOLO v3对象检测器。 完整的教程可以在找到。 已在Python 3.5和Tensorflow 1.11.0于Ubuntu 16.04上进行测试。 待办事项清单： YOLO v3架构 基本工作演示 权重转换器（用于将加载...
tensorflow implementation of YOLO，YOLO-v3-tensorflow-master.zip
03-02
YOLO（You Only Look Once）是一种著名的实时目标检测系统，由Joseph Redmon等人在2016年提出。YOLO的出现打破了以往目标检测领域的速度与精度平衡，它能够在一帧图像上仅进行一次前向传播就能完成检测，因此得名...
tensorflow实现 yolo v3目标检测算法（可fine-tuning）
06-12
神经网络每层输入的分布总是发生变化，通过标准化上层输出，均衡输入数据分布，加快训练速度； 可以设置较大的学习率和衰减，而不用去care初始参数，BN总能快速收敛，调参狗的福音。 通过规范化输入，降低激活函数在...
Windows系统下tensorflow版本的YOLO v3
08-20
tensorflow版本的YOLO v3，在Windows系统下亲测可运行，代码完整，包含训练测试demo等等，上手简单容易，无需复杂的环境，
python+tensorflow的yolo实现代码
02-19
yolo3的实现，平台是Windows10、python3.6.8 tensorflow1.12 运行yolo_video.py --camera 打开本地摄像头识别 运行yolo_video.py --image 打开图片识别 修改yolo.py中的代码，可以打开视频文件 缺少权重文件，可以自行下载weight文件用convert.py转换
tensorboard使用教程1——读取YOLOv5的评价指标+导出数据至matlab中
学习笔记居多
05-26 1981
训练完yolov5后，得到的数据图总是很模糊很小，无法粘贴到论文中，这时候就该轮到tensorboard出马了，如何使用tensorboard读取yolov5的数据并且用matlab给他画出来呢？
深度学习Object Detection目标检测之《YOLOv3原理详细剖析》
catscanner的博客
02-07 3523
目录综述Object Detection概述理Input&Output 网络的输入与输出Loss Function 损失函数Optimization 优化Backbone Structure 网络结构Evaluation 评价指标文Yolov3 Paper 论文拾遗 综述 本文之目的在于详细剖析目标检测网络之YOLOv3，我将从作者的Paper，Darknet网络结构，Pytorch的实现...
YOLOv3详解
热门推荐
wq_0708的博客
10-18 2万+
YOLOv3详解1. 什么是YOLO2. 一个全卷积神经网络——Darknet-533. 输出4. 锚框和预测中心坐标5.边界框维度6. 物体分数和类置信度7. 不同尺度的预测8. 输出处理（在类分数上阈值处理）附录参考 1. 什么是YOLO ​  YOLO是“You Only Look Once”的简称，它虽然不是最精确的算法，但在精确度和速度之间选择的折中，效果也是相当不错。YOLOv3借鉴了YOLOv1和YOLOv2，虽然没有太多的创新点，但在保持YOLO家族速度的优势的同时，提升了检测精度，尤其对.
TensorFlow Slim 工具包使用
qq_46292437的博客
11-02 1698
TensorFlow Slim是Google提供的图像分类工具包,不仅提供一些方便接口，包含使用tf_slim训练和评估几个广泛使用于图像识别的卷积神经网络 (CNN) 图像分类模型的代码，还包含允许您从头开始训练模型或根据预先训练的网络权重对其进行微调的脚本，是一个简洁、方便的图像分类模型库。 环境：python3.7 TensorFlow-1.15.0rc0 TensorFlow Models-v1.13.0 一、安装配置TensorFlow Slim 1、下载TensorFlo...
动手实践：运行yolo-tensorflow
thm225679的博客
03-01 1万+
Yolo 是一个非常优秀的实时检测的神经网络，非常适合初学者学习，也非常适合做Demo演示。但是Yolo是基于darknet框架，在PC机上运行基本没有问题。但是当我们想把yolo放在嵌入式开发板上运行时，如TI的TDA2X，tensorflow框架的神经网络更容易移植。下面动手实践，在PC机上运行yolo-tensorflow。1.安装tensorflow 我的PC基本配置是：只有cpu，没...
用YOLO训练自己的数据集--20170823
jocelyn870的博客
09-06 5147
YOLO安装及tiny-yolo训练测试
评论 32
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值