Google Colaboratory搭建及使用教程
接触过深度学习的都知道GPU对于我们来说意味着着什么(是金钱、是时间、是生命)。听说google提供的Colaboratory可以使用T4GPU,甚至P100GPU。本博主是历经重重险阻,登高、跳远,终于使用上了,本来一度欢欣鼓舞,但事实让我明白资本家的羊毛不是那么容易薅的。
一、前言
1、一切建立在“你懂的”的基础上
国内的网络肯定是使用不了的。想使用你首先需要一个谷歌账号(QQ邮箱APP即可解决),然后有一个完美的网络环境(最近好像有点严,好多用不了了,有需要可以联系一下博主。注:博主不是干这个的)
2、Colab之上有 Colab Pro(有钱T4、P100,没钱K80)
Colab | Colab Pro | |
---|---|---|
费用 | Free | $9.99/月 |
GPU类型 | K80 | 随机的T4、P100 ,还可优先使用TPU |
运行时间 | Juypter notebook最长可以运行 12 小时,空闲超时设置比 Colab Pro 严格很多。 | 在 Colab Pro 中,Juypter notebook可以保持连接长达 24 小时 |
内存容量 |
免费版 Colab 不提供高内存偏好设置,也很少向用户自动分配高内存虚拟机。 | Colab Pro可以优先使用高内存虚拟机。这些虚拟机的内存容量和 CPU 数通常是标准 Colab 虚拟机的两倍。可以通过一项notebook设置启用高内存虚拟机。此外,当 Colab 检测到可能需要高内存虚拟机时,有时可能还会自动分配这样的虚拟机。 |
但是免费的K80使用起来还是很香的(逃不过的真香定律)
3、运行速度不是那么理想
代码和数据的存放与运行不在同一位置,可能训练的速度并不是那么理想,时间主要花费在I/O上 。
言归正传,开始正式记录使用过程。
二、使用记录(建议使用Google浏览器)
1、注册登录:
进入Colab的官方网站:https://colab.research.google.com/notebooks/welcome.ipynb
页面介绍:上部分蓝色区域是功能与设置栏、左办红色区域是目录栏、右下角的绿色区域即为代码编辑栏(Jupyter Notebook既视感)。鼠标放在右上角的“RAM/磁盘”区域,可以显示分配的RAM/磁盘空间大小。
使用:登入Google的账号,就可以使用了。在本页面可以试着运行一些简单代码程序(基于Jupyter Notebook)。
2、选择运行代码的硬件:
点击上方“代码执行程序”->更改运行时类型“”
可以选择运行代码的硬件设备(CPU/GPU/TPU):
3、连接Google Driver
Colab的一大优势就是可以与Google Driver连接在一起,我们在Google Driver上部署的代码可以很方便的在colab上运行,而 Colaboratory写的文件.ipynb也能保存在Google Driver中。
1. 在谷歌云盘创建新文件夹
我在云盘中已创建文件夹"pythonProject"。
2. 在新建文件夹下创建一个新的.ipynb
文件夹下 右键单击>更多> Google Colaboratory创建一个可运行.ipynb。
点击后直接跳转至jupyter notebook编辑界面,可在左上方修改文件名。在谷歌硬盘相应路径下会创建相应文件。
3. 通向"Hello Word"
打印输出"Hello Word"
print('Hello Word')
结果:
测试硬件(需要更改运行时类型):
import tensorflow as tf
from tensorflow.python.client import device_lib
print("TF version:", tf.__version__)
print(device_lib.list_local_devices())
结果:
查看显卡状态(可执行正常指令,指令前加!即可):
!nvidia-smi
结果:
至此,就可以快乐的使用colab愉快地编辑运行我们的python代码了,在下节将介绍如何使用colab运行我们深度学习的代码。
官方使用指南:
https://colab.research.google.com/notebooks/intro.ipynb (US网站,需要你懂得)
参考
https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d (US网站,需要你懂得)