yolov5机器学习环境个人搭建具体流程

首先推荐教程：https://blog.csdn.net/didiaopao/category_11321656.html 教程为CSDN博主「炮哥带你学」的原创文章。
本篇文章是根据炮哥的教程，自己搭建的总结。
安装前准备anaconda的安装exe和yolov5源码就可以，利用anaconda安装配置pytorch和paddlepaddle环境的时候会自动帮我们配置好cuda和cudnn。

安装前的准备
NVIDIA驱动安装与更新
显卡驱动程序就是用来驱动显卡的程序，它是硬件所对应的软件。驱动程序即添加到操作系统中的一小块代码，其中包含有关硬件设备的信息。正常有显卡的电脑都是有驱动程序的，但是有的时候驱动可能版本比较低，支持的cuda版本也是比较低的（但是有的人的显卡是比较老的，就不建议更新驱动，这样会导致各种各样的问题，但是搞深度学习还是要用一块好的显卡用来学习，这点我是有血泪教训的，咬咬牙买块好的显卡，把知识学到手，以后的工资可以多赚会很多显卡的钱），NVIDIA出的30系列的显卡好像只支持cuda11以上的版本。

首先查看电脑的显卡版本，步骤为：此电脑右击–>管理–>设备管理器–>显示适配器。就可以看到电脑显卡的版本了。再得知以上的信息以后我们就可以对应我们的显卡去英伟达官网上去找相对应的显卡驱动更新或者下载了。具体的过程我就不在这里详述。

安装（更新）好了显卡驱动以后。我们按下win+R组合键，打开cmd命令窗口。输入如下的命令。
nvidia-smi
可以看到驱动的版本是471.68；最高支持的CUDA版本是11.4版本。得到显卡的最高支持的CUDA版本，我们就可以根据这个信息来安装环境了。
（可以先查驱动的版本和支持的CUDA版本，如果满足下载的CUDA版本，可以不用更新显卡驱动）

anaconda安装教程
打开https://www.anaconda.com/products/distribution#Downloads，现在是2021年8月，对应的anaconda版本是支持python3.8。如果想下载之前的版本，或者更低python版本的anaconda，打开https://www.cnblogs.com/xiaochouk/p/12081633.html

双击下载好的anaconda安装包，just me是说只供当前用户使用。all user 是供使用这台电脑的所有用户使用，是权限问题。对空间影响不大。如果你的电脑上只有建了一个用户，all users和just me 的作用是一样的。所以点击just me就好了。（本人点的all users）
然后点击next，当让你选择安装安装路径的时候，一定不要选择默认安装位置，因为默认位置是c盘，以后要在anaconda里面创建环境的时候会很占内存，最好在D盘中创建一个文件夹来放anaconda。
和图中一样将图中的√勾上，虽然出现红色的警告，但是要勾上，将anaconda添加到环境变量中去。然后点击完成就好了。
安装完成以后，按下开始键（win键）在左边就会出现anaconda3这个文件夹，可以发现anaconda已经安装好了。

Pytorch环境安装

按下开始键（win键），打开anaconda的终端。名字为anaconda prompt。
执行如下的指令查看有哪些环境。conda env list
这里先讲一下anaconda环境，首先base环境是一个大的环境，类似一个很大的一个房子（但是没有房间），当我们每创建一个环境就都会相当于在这个大房子里面用隔板创建一个房间，然后这个房间里面可以安装我们所需要的包，这样管理起来就比较方便。
创建虚拟环境conda create -n 环境名字（英文） python=x.x（python版本），如下，我就是创建了一个名字叫pytorch，python是3.8版本的环境。
命令为conda create -n pytorch python=3.8
在base环境中执行如上的命令，就会创建一个新的虚拟环境，这个虚拟环境会安装一些基础的包，如下图所示。询问是否安装的时候，输入y。就可以创建环境了。
当安装好了以后，执行conda env list这个命令，就可以看到比一开始多了一个pytorch这个环境。现在我们可以在这个环境里面安装深度学习框架和一些Python包了。
执行如下命令，激活这个环境。conda activate 虚拟环境名称
安装pytorch-gup版的环境，由于pytorch的官网在国外，下载相关的环境包是比较慢的，所以我们给环境换源。在pytorch环境下执行如下的命名给环境换清华源。
命令为：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes

然后打开pytorch的官网，由于开头我们通过驱动检测到我的显卡为 RTX3060，最高支持cuda11.4版本，所以我们选择cuda11.1版本的cuda，然后将下面红色框框中的内容复制下来，一定不要把后面的-c pytorch -c conda-forge也复制下来，因为这样运行就是还是在国外源下载，这样就会很慢。
pytorch官网为https://pytorch.org/
将复制的内容粘贴到pytorch环境下的终端，运行就可以了
（本人使用的是base环境，并没有创立更多的虚拟环境，一样可以运行）

以下为打标流程*********************
labelimg的安装
这里主要讲的是在window系统中的安装，首先打开cmd命令行（快捷键：win+R）。进入cmd命令行控制台。输入如下的命令：

pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple

使用labelimg
首先这里需要准备我们需要打标注的数据集。这里我建议新建一个名为VOC2007的文件夹（这个是约定俗成，不这么做也行），里面创建一个名为JPEGImages的文件夹存放我们需要打标签的图片文件；再创建一个名为Annotations存放标注的标签文件；最后创建一个名为 predefined_classes.txt 的txt文件来存放所要标注的类别名称。

VOC2007的目录结构为：

├── VOC2007
│├── JPEGImages 存放需要打标签的图片文件
│├── Annotations 存放标注的标签文件
│├── predefined_classes.txt 定义自己要标注的所有类别（这个文件可有可无，但是在我们定义类别比较多的时候，最好有这个创建一个这样的txt文件来存放类别）
在JPEGImages这个文件夹放置待标注的图片， 然后再 predefined_classes.txt 这个txt文档里面输入定义的类别种类。

在VOC2007的目录下输入cmd，进入命令行。（这个很重要，涉及到能不能利用predefined_classes.txt 这个txt文件中定义的类别，我在这里卡了很久，一度以为不能显示txt文件中定义的类别是我安装有问题）
输入如下的命令打开labelimg。这个命令的意思是打开labelimg工具；打开JPEGImage文件夹，初始化predefined_classes.txt里面定义的类。
命令为：labelimg JPEGImages predefined_classes.txt

PS：（非常重要！！！）要想在文件夹里直接运行labelimg，你电脑里默认的python版本必须小于3.9，否则需要在anaconda Prompt的命令行中输入对应命令才可以打开labelimg（不小于3.9，要不报错，要不图片显示不正常）。因为anaconda是虚拟环境，在文件夹中运行并不会使用虚拟环境。

进入后
opendir为待标注图片数据的路径文件夹，这里输入命令的时候就选定了JPEGImages。（当然这是可以换的）
change save dir为保存类别标签的路径文件夹，这里我们选定了Annotations文件夹。
Pascalvoc为可以说明我们标注的标签为voc格式，点击可以换成yolo或者createML格式。（ 1 VOC标签格式，保存为xml文件。2 yolo标签格式，保存为txt文件。3 createML标签格式，保存为json格式。）

点击View，会出现如下几个选项
Auto Save mode：切换到下一张图的时候，会自动保存标签。
Display Labels：会显示标注框和标签
Advanced Mode：标注的十字架会一直悬浮在窗口

常用快捷键如下：
A：切换到上一张图片
D：切换到下一张图片
W：调出标注十字架
del ：删除标注框框
Ctrl+u：选择标注的图片文件夹
Ctrl+r：选择标注好的label标签存在的文件夹

标注过程（可不看）
由于我们设置标注的十字架一直在标注界面上，这就不需要我们按快捷键w，然后选定我们需要标注的对象。按住鼠标左键拖出框框就可以了。如下图所示，当我们选定目标以后，就会加载出来predefined_classes.txt 定义自己要标注的所有类别（如果类别多，是真的很方便，就不需要自己手打每个类别的名字了）。打好的标签框框上会有该框框的类别（图中由于颜色的原因不太清晰，仔细看会发现的）。然后界面最右边会出现打好的类别标签。打好一张照片以后，快捷键D，就会进入下一张，这时候就会自动保存标签文件（voc格式会保存xml，yolo会保存txt格式）

验证集和训练集的划分*******
数据集格式转化及训练集和验证集划分
VOC标签格式转yolo格式并划分训练集和测试集
我们经常从网上获取一些目标检测的数据集资源标签的格式都是VOC(xml格式)的，而yolov5训练所需要的文件格式是yolo(txt格式)的，这里就需要对xml格式的标签文件转换为txt文件。同时训练自己的yolov5检测模型的时候，数据集需要划分为训练集和验证集。这里提供了一份代码将xml格式的标注文件转换为txt格式的标注文件，并按比例划分为训练集和验证集。先上代码再讲解代码的注意事项。
代码：

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
import random
from shutil import copyfile
 
classes = ["hat", "person"]
#classes=["ball"]
 
TRAIN_RATIO = 80
 
def clear_hidden_files(path):
    dir_list = os.listdir(path)
    for i in dir_list:
        abspath = os.path.join(os.path.abspath(path), i)
        if os.path.isfile(abspath):
            if i.startswith("._"):
                os.remove(abspath)
        else:
            clear_hidden_files(abspath)
 
def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
 
def convert_annotation(image_id):
    in_file = open('VOCdevkit/VOC2007/Annotations/%s.xml' %image_id)
    out_file = open('VOCdevkit/VOC2007/YOLOLabels/%s.txt' %image_id, 'w')
    tree=ET.parse(in_file)
    root = tree.getroo