【colab】谷歌colab免费服务器训练自己的模型，本文以yolov5为例介绍流程

目录

一.前言

二.准备工作

1.注册Google drive（谷歌云盘）

Google Driver官网：https://drive.google.com/drive/

Colab官网：https://colab.research.google.com/

2.上传项目文件

3.安装Colaboratory

4.colab相关操作和命令

5.项目相关操作 

三.异常处理

---

一.前言

        本文介绍了在谷歌开放平台Google colab上租用免费GPU训练自己的模型，colab的使用类似于juputer notebook，不过colab基本不需要配置环境，提供了主流的深度学习框架，如pytorch、TensorFlow等，同时也提供了相对应的库如numpy，pandas，基本上可以做到直接使用，若对版本有所要求，可pip安装对应版本的库。

二.准备工作

1.注册Google drive（谷歌云盘）

        因为整个流程是在Google的平台上进行的，所以科学上网必不可少。其次需要准备谷歌账号注册Google drive，需此作为自己项目的传输媒介。

Google Driver官网：https://drive.google.com/drive/

Colab官网：https://colab.research.google.com/

登录自己的谷歌账号注册谷歌云盘：

 注册后，谷歌云盘自带15G容量的免费空间：

                                                

2.上传项目文件

        点击左侧“新建”——“文件夹”——“demo”（例子），然后上传自己的项目文件，右击空白上传和从系统文件夹拖拽的方式均可，最好将项目文件压缩上传，由于网速原因，直接上传文件夹，里面的文件很大几率漏传，特别是数据集中的图片和标签漏传，想将其重新补传进去是一件很头疼的问题，本文以压缩包zip格式为例。

 对其压缩包最好不要用谷歌云盘自带的解压工具，速度很慢。。。非常慢！

3.安装Colaboratory

        “新建”——“更多”——“关联更多应用”，搜索“Colaboratory”，然后按照提示进行安装。过程中可能需要再次登录谷歌账号，乃至输入安全验证码，验证码一般为10位数字，可以登录谷歌邮箱在账户管理中查询到。

 “新建”——“更多”——“Google Colaboratory”，创建文本。

 

4.colab相关操作和命令

        接着进入colab后，便可以看到类似于jupyter的编程笔记本，不同的是colab自带配置好的环境，可将其左上方改为自己的所需名称，例如：“demo”。

 点击上侧工具栏“代码执行程序”——“更改运行时类型”，及可以选择所需硬件“GPU/TPU”

 

 然后就和jupyter notebook使用方法类似了，由于本文是介绍用GPU训练模型，可以首先输入以下命令查看GPU信息：

!nvidia-smi # 查看显卡信息

并shift+Enter执行操作命令：

紧接着我们需要挂载我们的Google drive 才能载入我们的项目文件，输入如下命令：

from google.colab import drive
drive.mount('/content/drive')

并运行，出现如下提示：

5.项目相关操作 

        若之前在云盘中上传的是项目压缩包，则需要以下命令对其压缩包进行解压：（tip：可点击左侧文件夹标志，出现文件夹可视化树状图，右击快速复制文件夹或文件所在路径）

!unzip -uq "/content/drive/MyDrive/demo/yolov5-master.zip" -d "/content/drive/MyDrive/demo"
# !unzip -uq "压缩包所在路径" -d "解压目标文件夹路径"

 解压完成后，执行如下命令进入项目文件夹：

%cd /content/drive/MyDrive/demo/yolov5-master
# %cd 项目文件所在路径

注意这里是 % 不是  ! 

进入指定文件夹后出现类似如下结果：

 如下命令可展示当前路径下所有文件夹及文件：

!ls # 展示当前路径文件列表

 若该项目还需继续修改配置或参数，也可以直接双击左侧文件夹路径中文件进行修改，特别是项目中很多路径问题，建议上传项目前，已知路径均修改为项目的相对路径；若为完整可执行项目，我们就到了最后一步执行了：

!python train.py # !python 要执行的py文件

等待训练完成即可。

三.异常处理

        在训练过程中可能会遇到很多情况，如很多训练中断问题，如：

colab运行到12小时,或者没有及时完成规定的人机认证都会断开连接，断开之后可执行如下命令继续训练：

!python train.py --resume

        例如yolov5，可将其项目中train.py里的参数"--resume" 改为True，系统将最后一次训练得到的exp文件夹中的权重视还将继续训练，则会接着训练上次训练剩下的epoch。

parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')

 使用F12或者Ctrl+Shift+I 可以进入浏览器终端，输入以下代码后Enter，将会间隔一段时间对浏览器做出响应操作。

function ClickConnect(){
console.log("Working"); 
document.querySelector("colab-toolbar-button#connect").click() 
}
setInterval(ClickConnect,60000)