colab简介
Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究。
工具优势:Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用。你可以在上面轻松地跑例如:Keras、Tensorflow、Pytorch等框架;其次是入门相对简单,语法和cmd语句以及linux语句相似。目前colab平台GPU的状态信息如下图:
工具缺陷:需要vpn,对自身网络有一定要求,否则容易断联。但是目前本人使用过程中很少发生上述情况,除了电脑熄屏的时候导致断联。
因此这个工具对于自身电脑配置不高的开发者很是友好。
colab入门
训练自己的数据集
准备自己的数据集(win10)
这是利用yolo系列算法训练自己数据集最为关键,也是最为繁琐的一步。所幸自己在github找到一个项目,此项目专门为yolo系列准备对应格式的数据。
voc2007_for_yolo_torch:https://github.com/ppr/voc2007_for_yolo_torch
大家只需要根据作者的指示,便可以轻松的得到可利用的数据。
注意事项
这个步骤本来可以统一在Google Colab实现,但是由于谷歌云端硬盘的空间有限,所以我在win10利用pycharm将这一步骤先进行实现,之后需要将对应结果的文件夹和文件上传到谷歌云盘就行。
由于自身的xml文件格式可能和作者的xml文件格式不一样,所以除了作者说的需要修改的地方,我们可能还需要对代码进行适当的修改。
比如我的xml文件就和作者xml文件不一样,我的xml文件中没有"size","difficult"等属性。所以需要对tools文件夹下的voc_lable.py文件进行修改。
# -*- coding: utf-8 -*-
"""
需要修改的地方:
1. sets中替换为自己的数据集
3. 将本文件放到VOC2007目录下
4. 直接开始运行
"""
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir
from os.path import join
import cv2
sets = [('2007', 'train'), ('2007', 'val'), ('2007', 'test')] #替换为自己的数据集
jpegimages_dir = r".\JPEGImages" #原本没有,自己添加,因为下面需要使用
def convert(size, box):
# 进行归一化
dw = 1. / (size[0])
dh = 1. / (size[1])
x = (box[0] + box[1]) / 2.0
y = (box[2] + box[3]) / 2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x * dw
w = w * dw
y = y * dh
h = h * dh
return (x, y, w, h)
def convert_annotation(year, image_id, classes):
in_file = open('Annotations/%s.xml' % (image_id), 'r', encoding='utf-8') #将数据集放于当前目录下
out_file = open('voc_labels/%s.txt' % (im