yolov5学习（二）Colab上使用自己的数据集训练yolov5

目录

文章简介

数据下载与预处理

数据介绍

 数据预处理

colab数据上传

colab免费GPU训练

注

---

文章简介

上次有简单介绍下如何在本地安装yolov5并实现图片、视频、电脑本地摄像头以及手机摄像头的目标检测。本文接着介绍下如何在谷歌的Colab上部署和训练自己的数据集。为什么使用colab呢，由于本人使用的笔记版没有GPU，而colab提供了免费的GPU资源，对于想要尝试深度学习，却没有硬件设备支持的同学来说还是一个比较好的资源。缺点是需要梯子，colab的地址如下https://colab.research.google.com/

本文的数据源来自与kaggle的全球小麦检测项目，项目连接Global Wheat Detection | Kaggle

本文将介绍如何将介绍如何上传数据到colab，colab环境安装、模型训练和保存。

数据下载与预处理

数据介绍

在kaggle上下载的数据解压包含以下文件

其中我们关注的是tes和train文件夹以及train.csv文件。test和train中的数据样式如下

train.csv文件中，包含对应的图片的ID，检测框的width、height表示图像的尺寸，bbox：边界框，格式为 [xmin, ymin, width, height] 的 Python 样式列

 数据预处理

# read the training data.


df = pd.read_csv('/Users/xinjin/Desktop/learning/2022年学习/物体检测/小麦检测/global-wheat-detection/train.csv')
bboxs = np.stack(df['bbox'].apply(lambda x: np.fromstring(x[1:-1], sep=',')))
for i, column in enumerate(['x', 'y', 'w', 'h']):
    df[column] = bboxs[:,i]
df.drop(columns=['bbox'], inplace=True)
df['x_center'] = df['x'] + df['w']/2
df['y_center'] = df['y'] + df['h']/2
df['classes'] = 0
from tqdm.auto import tqdm
import shutil as sh
df = df[['image_id','x', 'y', 'w', 'h','x_center','y_center','classes']]

将数据处理成yolov5需要的格式

source = 'train'
if True:
    for fold in [0]:
        val_index = index[len(index)*fold//5:len(index)*(fold+1)//5]
        for name,mini in tqdm(df.groupby('image_id')):
            if name in val_index:
                path2save = 'val2017/'
            else:
                path2save = 'train2017/'
            if not os.path.exists('convertor/fold{}/labels/'.format(fold)+path2save):
                os.makedirs('convertor/fold{}/labels/'.format(fold)+path2save)
            with open('convertor/fold{}/labels/'.format(fold)+path2save+name+".txt", 'w+') as f:
                row = mini[['classes','x_center','y_center','w','h']].astype(float).values
                row = row/1024
                row = row.astype(str)
                for j in range(len(row)):
                    text = ' '.join(row[j])
                    f.write(text)
                    f.write("\n")
            if not os.path.exists('convertor/fold{}/images/{}'.format(fold,path2save)):
                os.makedirs('convertor/fold{}/images/{}'.format(fold,path2save))
            sh.copy("/Users/xinjin/Desktop/learning/2022年学习/物体检测/小麦检测/global-wheat-detection/{}/{}.jpg".format(source,name),'convertor/fold{}/images/{}/{}.jpg'.format(fold,path2save,name))

 定义yaml文件

 至此本地的数据预处理完成

colab数据上传

首先将在本地环境上调试好代码，将代码和数据预处理后的数据，压缩成zip文件，上传到colab中，由于直接上传到colab上速度太慢，因此，收件将文件上传到oneDrive上。上传文件时要注意使用网页版。

获取文件的下载链接，

点击下载，等文件开始下载后，点击暂停，复制出链接 

 colab下载oneDrive中的文件

!curl "链接" --output /conent/文件名

将文件解压

!unzip /content/wheat_detect.zip -d/content/yolov5

将/content/yolov5/__MACOSX删除

!rm -rf /content/yolov5/__MACOSX

进入到yolov5路径下

/content/yolov5/yolov5-6.2

安装需要的python包

!pip install -r requirements.txt

colab免费GPU训练

将colab修改为GPU模式

模型训练

使用训练好的模型，对test中图像进行检测

检测效果还行。

注

上传到colab上的数据和模型保存的结果在下次重新打开的时候会不见，所以在上传文件的时候，不要将数据直接存放到./content中，应该先挂载google硬盘，将zip解要到diver下的目录中，这样上传的数据以及保存的模型文件会存储再google硬盘上，不会丢失