Google Colab免费GPU 超详细使用教程

datamonday

已于 2022-04-04 13:34:50 修改

阅读量4.5w

点赞数 79

分类专栏： TensorFlow/Keras 文章标签：人工智能机器学习深度学习 google drive 免费GPU

于 2020-03-21 18:50:18 首次发布

本文链接：https://blog.csdn.net/weixin_39653948/article/details/105010730

版权

TensorFlow/Keras 专栏收录该内容

3 篇文章 36 订阅

订阅专栏

写在前面

2018年，在Coursera上学习Google的课程时，使用到了Colab，当时了解不深，老是放开课程链接，不需要配置，只需要密钥就可以做相关作业和演示代码。当时用完没再继续使用。最近，由于笔记本跑模型太慢，又想起了colab。对小白来说，现在的配置稍微有点繁琐，于是总结了配置过程，也就是本文。

很感谢Google提供这样的平台，15GB的云盘12小时的GPU单次使用时长，对于一般任务来说足够了。🏄‍♂️

2020.05.11 重新编辑发布

重新排版，删减内容
添加上传代码使用部分

2020.03.21 初次发布本文

包含基本使用
文章排版欠佳

1. Colaboratory 介绍

1.1 Colaboratory（Colab）是什么

Colaboratory 简称“Colab”，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上说，Colab 是一种托管式 Jupyter 笔记本服务。用户无需进行设置，就可以直接使用，同时还能获得 GPU 等计算资源的免费使用权限。

1.2 Colab 与 Jupyter 的关系

Jupyter 是一个开放源代码项目，而 Colab 是在 Jupyter 基础之上开发的。通过 Colab，无需下载、安装或运行任何软件，就可以使用 Jupyter 笔记本并与他人共享。

1.3 Colab 的使用量限额是多少

Colab 之所以能够免费提供资源，部分原因在于它的使用量限额是时有变化的动态限额，并且它不会保证资源供应或无限供应资源（单次最长12小时，自动断开连接）。也就是说，总体使用量限额、空闲超时时长、虚拟机最长生命周期、可用 GPU 类型以及其他因素都会不时变化。Colab 不会公布这些限额，原因之一是它们不仅可能、而且有时确实会快速变化。如果希望获得更高、更稳定的使用量限额，可以订阅 Colab Pro。

1.4 Colab 提供哪些类型的 GPU

为了保证计算资源的自动分配，Colab 中的可用 GPU 类型是动态变化的，通常包括 Nvidia K80、T4、P4 和 P100。

问题是无法手动选择在 Colab 中连接的 GPU 类型。与使用 Colab 长时间运行计算的用户相比，系统有时会向交互地使用 Colab 或最近资源用量较少的用户优先提供 GPU。因此，使用 Colab 长时间运行计算的用户，或最近资源用量较大的用户，更有可能遇到使用量限制，并导致他们暂时无法使用 GPU。计算需求较高的用户可以在使用 Colab 界面的同时，在自己的硬件上运行本地运行时。如果想要更稳定地使用 Colab 最快的 GPU，可以订阅 Colab Pro。

请注意，Colab绝对禁止使用 Colab 挖掘加密货币，情节严重者，封禁Google帐号在 Colab 中的使用权限。

1.5 Colab 可以运行多长时间

笔记本要连接到虚拟机才能运行，虚拟机的最长生命周期为 12 小时。笔记本如果处于空闲状态的时间过长，也会与虚拟机断开连接。虚拟机的最长生命周期和空闲超时行为可能会随时变化，也会根据您的使用情况调整。只有这样，Colab 才能免费提供计算资源。如果希望虚拟机的生命周期更长、对空闲超时行为的限制更宽松，并希望这两项随时间变化的幅度小一些，可以订阅 Colab Pro。

1.6 Colab 支持哪些浏览器

Colab 支持大多数主流浏览器，并且在 Chrome、Firefox 和 Safari 的最新版本上进行了最全面的测试。

2. Colab 使用步骤

2.1 登陆 Google Drive

Google Colab 支持挂载 Google Drive，方便存储文件。所以推荐直接从 Google Drive 登录。打开Google Drive 官网，使用gmail邮箱直接登陆。

2.2 添加 Colab

登陆之后，创建文件夹，是没有Colab的，需要先添加colaboratory应用，操作依次如下：

1. 新建文件夹
在这里插入图片描述

2. 添加 colab 应用
打开，新建的文件夹，在其中右击空白处 --> More --> Connect more apps
在这里插入图片描述
搜索“Colaboratory”，点击图标安装。

3. 打开Colab
安装完成后，右击空白处 --> Google Colaboratory 打开。
在这里插入图片描述

4. 修改硬件加速器为GPU
在这里插入图片描述

5. 挂载Google Drive
点击 +代码 ，然后输入挂载Google Drive的命令：

from google.colab import drive
drive.mount('/content/drive')

另一种方法：

from google.colab import drive
drive.mount('/content/gdrive')

实测两种都是一样的。

点击蓝色URL，按步骤操作，会返回一串秘钥。复制然后粘贴到如下界面输入框内（图中已经输入完毕）。
在这里插入图片描述
注意返回的文件根目录，待会要用。

6. 查看显卡驱动信息
在这里插入图片描述

初次使用，一般会给一个比较好的G卡，比如如图的T4，之后一般是8G的P系列。
所以，初次使用好好体验，之后分配T4的机会就少了。

7. 安装所需的包

! pip install tensorflow-gpu==2.1.0

notebook中 “!” 表示命令行命令指示符。

因为绝大多数机器学习深度学习相关的计算工具都已经安装阿好了，无需自己在安装，只需要将主要是用的深度学习框架调整为合适自己业务需求的版本即可。目前还没遇到有安装包没安装的情况，需要注意的是该平台的TensorFlow版本是保持最新版的，所以在使用的时候一定要检查版本。因为我常用的是tensorflow-gpu==2.1.0，所以重新安装了。此外，几乎无需在安装其它与深度学习相关的包。
在这里插入图片描述

8. 上传本地数据/脚本到Google Drive

直接将本地写好的notebook程序上传到Google Drive，然后打开运行即可。但是要注意路径问题！
在这里插入图片描述
比如路径为：

/content/drive/My Drive/yourdatadir/

其中 /content/gdrive/My Drive/ 是相同的，yourdatadir 是自己创建的文件夹。

在这里插入图片描述

9. 运行.py脚本

直接在命令行中输入类似如下语句即可运行：

! python /path/filename.py

3. 运行上传的notebook文件

3.1 上传文件并打开

详细操作步骤如下：
在这里插入图片描述
直接点击装在Google云盘，会自动写好命令，如图：

同样的操作，点击蓝色url，按步骤操作，并将返回的秘钥填入空格处，回车。

挂载后的文件目录如下：

3.2 导入自定义模块的方法🐳

这里可能是很多人比较疑惑的吧，操作步骤如下：

首先确保挂载好了Google云盘。然后，使用 sys 将目录附加到python路径：

import sys
sys.path.append('/content/gdrive/yourdirectory')

比如我的：
在这里插入图片描述
当前notebook存储在Prediction文件夹下，要跨文件路径导入models文件夹下的文件，操作如上。

这里的关键是 sys.path.append 添加的路径，可以看到添加的路径是模块和文件的上一级目录，这样可以很方便的跨文件夹导入。如果不导入sys添加路径，会一直报错。

到这应该熟悉使用流程了，抓紧试试吧~

再次感谢Google！

datamonday

关注

79
点赞
踩
447

收藏

觉得还不错? 一键收藏
打赏
15
评论
Google Colab免费GPU 超详细使用教程

Colaboratory 简称“Colab”，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上说，Colab 是一种托管式 Jupyter 笔记本服务。用户无需进行设置，就可以直接使用，同时还能获得 GPU 等计算资源的免费使用权限。
复制链接

扫一扫