目标检测与比对,使用yolov5s跑数据集构建模型

1.1数据集下载

我使用的是下面的数据集,有需要可去以下链接下载

trianA数据集下载链接：https://pan.baidu.com/s/1zj3MqZEHKHpFACs95Ov4gQ?pwd=ma1p

trianB数据集下载链接：https://pan.baidu.com/s/1whg_-jLfbUnfpZkKjvdziQ?pwd=yg54 

1.2yolov5s下载

(1)官网下载

从github上下载yolov5的模型，这里选取的yolov5 ，tags为6.2的版本。

下载网址：https://github.com/ultralytics/yolov5

点击code---download 即可下载压缩包

2.下载预训练模型

从刚刚下载yolov5的github的官网上，下载的预训练模型,

yolov5一共有5种模型：

YOLOv5n:最小的模型，适合在移动端部署。

YOLOv5s：小型模型，适合在CPU上进行推断。YOLOv5m：中等大小的模型，是速度和准确性之间的平衡点，适用于许多数据集和训练任务。

YOLOv5l：大型模型，适用于需要检测较小物体的数据集。

YOLOv5x：最大的模型，拥有最高的mAP指标，但相对较慢，参数数量为86.7百万。

这里我们选取了比较小的YOLOv5s的模型，可以在CPU上训练，亦可以从GPU上训练。

想要用别的yolo版本可以去GitHub搜,是一样的.

下载好yolov5文件后解压到一个文件夹里,这时会发现少了一个yolov5.pt的文件

可以在上面给出的下载链接中往下划,寻找的图中的页面,需要哪个就下那个版本的yoloxx.pt,然后把文件复制到你的文件夹里就行.

1.3下载ANACONDA

从以下链接可以进入下载ANACONDA的官网

Download Anaconda Distribution | Anaconda

下面的按钮的跳过注册

然后就进入了下载界面,弄完了ANACONDA之后,就是准备 python 和 pytorch

1.4python和pytorch

(1)环境配置

首先为自己的项目创建虚拟环境，这里我的项目名为：pytorch_study, python 版本为3.9；请在conda :

conda create -n pytorch_study python==3.9
conda activate pytorch_study

(2)pytorch安装

（gpu版本和cpu版本的安装）

实际测试情况是YOLOv5在CPU和GPU的情况下均可使用，不过在CPU的条件下训练那个速度会令人发

指，所以有条件的小伙伴一定要安装GPU版本的Pytorch。

pytorch 安装注意事项

①安装之前一定要先更新你的显卡驱动，去官网下载对应型号的驱动安装

②30系显卡只能使用cuda11的版本

③一定要创建虚拟环境，这样的话各个深度学习框架之间不发生冲突

可以直接从以下链接进入 pytorch官网

PyTorch

记得一定得要是conda的,如果不点conda默认是pip的下载链接.

（3）下载requirements文件

① conda 安装的方式

如下：

conda activate pytorch_study

然后执行以下命令：

​​​​​​​conda install --yes --file requirements.txt

 

1.5数据预处理

1.标签转换

（1）我们以train_B_1502的图片和标签为例，首先打开标签文件如下，

分别代表：类别标签, x_min , y_min , x_max , y_max;

x_min , y_min为左上角的坐标， x_max , y_max为右下角的坐标；

创建 labels_convert.py 文件

下面我们将首先我们将标签文件处理成yolo的标签文件，创建脚本：labels_convert.py文件，

示例代码如下：

import os

# 假设所有图片的大小是固定的，根据你的实际情况调整

img_width = 1280

img_height = 720

def convert_bbox_to_yolo_format(x_min, y_min, x_max, y_max, img_w, img_h):

    """

    将边界框从 <x_min, y_min, x_max, y_max> 转换为 YOLO 格式 <x_center, y_center,width, height>,并归一化坐标。

    """

    x_center = ((x_min + x_max) / 2) / img_w

    y_center = ((y_min + y_max) / 2) / img_h

    width = (x_max - x_min) / img_w

    height = (y_max - y_min) / img_h

    return x_center, y_center, width, height

def process_label_files(label_dir):

    for label_file in os.listdir(label_dir):

        file_path = os.path.join(label_dir, label_file)

        with open(file_path, 'r') as file:

            lines = file.readlines()

# 准备新的标签内容

        new_lines = []

        for line in lines:

            parts = line.strip().split()

            if len(parts) == 5:

                cls, x_min, y_min, x_max, y_max = map(float, parts)

                x_center, y_center, width, height = convert_bbox_to_yolo_format(x_min, y_min, x_max, y_max, img_width, img_height)

                new_line = f"{int(cls)}\t{x_center:.6f}\t{y_center:.6f}\t{width:.6f}\t{height:.6f}\n"

                new_lines.append(new_line)

# 将转换后的标签写回文件

        with open(file_path, 'w') as file:

            file.writelines(new_lines)

if __name__ == "__main__":

    label_directory = 'mydatab\labels' # 修正路径中的反斜杠 (把这里的文件相对地址搞成你们的地址)

    process_label_files(label_directory)

print("convert over")

2.数据集划分

我们的数据集结构为：

├── images

├── labels

而yolov5的数据集结构为：

├── images

│ ├── train

│ ├── val

│ └── test

├── labels

│ ├── train

│ ├── val

│ └── test

因此我们需要按照yolov5的数据集结构进行划分数据集。

创建 split_data.py

这里我们需要根据yolov5的数据结构，创建自己数据集的结构：这里来存放数据集信息，创建

split_data.py；将图片和标签都按照训练集：校验集：测试集=8:1:1的比例进行划分；（训练集训练参 数，校验集调整超参数，测试集对模型进行测试）

划分数据集的代码:

import os

import random

from shutil import copyfile

def split_dataset(image_folder, txt_folder, output_folder, split_ratio=(0.8,0.1, 0.1)):

    # Ensure output folders exist

    for phase in ['train', 'val', 'test']:

        os.makedirs(os.path.join(output_folder, 'images', phase), exist_ok=True)

        os.makedirs(os.path.join(output_folder, 'labels', phase), exist_ok=True)

    # Get list of image files

    image_files = [f for f in os.listdir(image_folder) if f.endswith(('.jpg','.jpeg', '.png'))]

    random.shuffle(image_files)

    num_images = len(image_files)

    num_train = int(split_ratio[0] * num_images)

    num_val = int(split_ratio[1] * num_images)

    train_images = image_files[:num_train]

    val_images = image_files[num_train:num_train + num_val]

    test_images = image_files[num_train + num_val:]

    # Copy images and labels to respective folders

    for phase, images_list in zip(['train', 'val', 'test'], [train_images,val_images, test_images]):

        for image_file in images_list:

            # Copy image

            image_path = os.path.join(image_folder, image_file)

            target_image_path = os.path.join(output_folder, 'images', phase,image_file)

            copyfile(image_path, target_image_path)

            # Copy corresponding txt file if exists

            txt_file = os.path.splitext(image_file)[0] + '.txt'

            txt_path = os.path.join(txt_folder, txt_file)

            target_txt_path = os.path.join(output_folder, 'labels', phase,txt_file)

            if os.path.exists(txt_path):

                copyfile(txt_path, target_txt_path)

if __name__ == "__main__":

    image_folder_path = "mydatab\images"(把这里的文件相对地址搞成你们的地址)

    txt_folder_path = "mydatab\labels"(把这里的文件相对地址搞成你们的地址)

    output_dataset_path = "datasetsd"(把这里的文件相对地址搞成你们的地址)

    split_dataset(image_folder_path, txt_folder_path, output_dataset_path)

print("Split complete.")

划分训练集后得到images如下：

得到的labels如下：

1.6.模型训练

1.创建bdd_traina.yaml文件

YOLOv5训练中最重要的一个属性是数据集的YAML文件。

在yolov5目录下的data文件夹下新建一个bdd_trainb.yaml文件（可以自定义命名）。在执行训练脚本

时，我们需要将此文件路径作为参数提供，以便脚本可以识别图像路径、标签路径和类别名称。数据集

已经包含了这个文件，以下是我们在这里用于训练的bdd_trainb.yaml文件的内容：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# COCO 2017 dataset http://cocodataset.org by Microsoft

# Example usage: python train.py --data coco.yaml

# parent

# ├── yolov5

# └── datasets

#     └── coco  ← downloads here (20.1 GB)




# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]

path: E:\text\datasetsd (修改成自己的文件地址) # dataset root dir

train: images/train # train images (relative to 'path') 118287 images

val: images/val  # val images (relative to 'path') 5000 images

test: images/test  # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794



# Classes

nc: 9  # number of classes

names: ['bus','traffic light', 'traffic sign', 'person', 'bike', 'truck','motor', 'car', 'rider',]  # class names





# Classes

nc: 9  # number of classes

names: ['bus','traffic light', 'traffic sign', 'person', 'bike', 'truck','motor', 'car', 'rider',]  # class names

把coco128.yaml文件复制一个修改成上述的就行

2. 修改 train.py

以上参数解释如下：

epochs：指的就是训练过程中整个数据集将被迭代多少次,显卡不行,就调小点。默认是300，我这里的 示例写的是5

batch-size：一次看完多少张图片才进行权重更新，梯度下降的mini-batch,显卡不行,就调小点，主要是

因为在神经网络训练过程中，Batch size决定了每次训练迭代时，一次性加载到GPU显存中的数据量。

也就是说，Batch size实际上直接影响到了GPU内存的使用情况, 这里我们可以使用yolov5默认的16；

cfg：存储模型结构的配置文件

data：存储训练、测试数据的文件

img-size：输入图片宽高,显卡不行,就调小点。

device: 如果有一张显卡的话，default改为0；没有显卡的default='cpu'

workes: 进程数，默认值为8,如果显存不足的话就设置小一点，实在不行设为0.

在YOLO中，对图片进行resize是指将图像的尺寸改变为模型所需的输入尺寸，比如yolo默认的图片大小

为640x640。而原图中的像素是指图像中的每一个点，包含了颜色和亮度等信息。当图片被resize时，

会根据新的尺寸重新采样和插值，所以resize后的图像像素和原图中的像素是有区别的。

1.7如果缺少了什么文件可以使用对应代码,把后缀修改一下,成你们需要的就行:

activate pytorch_study
conda install -n pytorch_study numpy==1.23
conda install -n pytorch_study matplotlib
conda install -n pytorch_study opencv-python opencv-contrib-python
conda install -n pytorch_study pandas
conda install -n pytorch_study pyyaml
conda install -n pytorch_study tqdm
conda install -n pytorch_study seaborn
conda install -c conda-forge tensorboard

conda install -c conda-forge numpy==1.23
conda install -c conda-forge matplotlib
conda install -c conda-forge pandas
conda install -c conda-forge pyyaml
conda install -c conda-forge tqdm
conda install -c conda-forge seaborn  pillow==9.5.0

conda install -c conda-forge pillow==9.5.0

getsize报错：

FreeTypeFont‘ object has no attribute ‘getsize‘；

方法（1）降低pillow的版本

conda install -c conda-forge seaborn  pillow==9.5.0

①numpy出错：

AttributeError: module ‘numpy‘ has no attribute ‘int

解决方法：

这时因为numpy版本大于1.20不支持int,现在我使用的版本为1.26

解决方法为修改numpy的版本为1.23，然后报错就没了

conda install -c conda-forge numpy==1.23

1.8参数含义

Epoch:训练过程中的迭代次数（即完成了多少个epoch）。

gpu_mem:GPU内存使用情况，通常是以MB或GB为单位的数字。

box:模型预测出的bounding box的平均损失值。

obj：模型预测出的objectness的平均损失值。

cls:模型预测出的分类的平均损失值。

labels：每个batch中标注的物体数量的平均值。

img_size：输入模型的图像的大小，通常是以像素为单位的宽度和高度。

这些参数的意义可以帮助训练者监控模型的训练过程，以便在必要时进行调整和优化。

Class:检测的目标类别。

Images:测试集中包含该类别的图像数量。

Labels:测试集中该类别物体的真实标注数量。

P:该类别的预测精确度(precision),即正确预测的物体数量占所有预测的物体数量的比例。

R:该类别的召回率(recall),即正确预测的物体数量占所有真实物体数量的比例。

mAP@.5：平均精度均值(mean average precision）的值，即在loU阈值为0.5时的平均精度。

mAP@.5:.95:在loU阈值从0.5到0.95的范围内，所有阈值的平均精度的均值。

这些指标的意义是，P和R可以帮助评估模型的分类和检测能力，mAP则综合了模型在不同loU阈值下的 表现，是评估模型性能的主要指标之一.

打开detect.py文件 2. 修改代码

修改219行测试集图片的路径：

修改227行代码：

这里因为我们的任务是需要提交每张图片的人的总数和车的总数的csv文件，所以还需要修改的参数为：

227行，将save-text设置为Ture

接下来我们执行脚本detect.py

最后的结果保存在： runs\detect中；