Google Colab使用初探:和我一起用Colab解放机器吧!!!
Google Colab使用初探:和我一起用Colab解放机器吧!!!
由于我没有安装anaconda来进行库管理,所以随着时间的慢慢积累,如果再安装anaconda在现在这台配置不太行的机器上跑模型会经历一段很漫长很痛苦的过程:首先要在已安装python的基础上用anaconda替换,对于我这种粗心的人稍有不慎就是一出人间惨剧;就算成功了,因为现阶段主要是学习探索,并且目前的机器配置不太行,就算跑起来模型也会慢得要死,苦恼之际Colab出现了!如果你和我一样有类似的苦恼,Google Colab对于我这种学生党来说真的很香😝
(如果你就是想基于python已存在的基础上安装anaconda,然后在本机跑模型,可参考这位大佬的文章)
一、Google Colab简介
下面是一段官方写的什么是Colab:
什么是 Colaboratory?
借助 Colaboratory(简称 Colab),您可在浏览器中编写和执行 Python 代码,并且:
无论您是一名 学生、 数据科学家还是 AI 研究员,Colab 都能够帮助您更轻松地完成工作。您可以观看 Colab 简介了解详情,或查看下面的入门指南!
- 无需任何配置
- 免费使用 GPU
- 轻松共享
🔎划重点:免费! 免费! 免费!
Colab提供的免费GPU为K80,目前替换为了T4,显卡计算力从3.7提升到了7.5~(截止到现在,Google还提供了免费的TPU方便大家使用)
上图是查询得到的GPU信息,虽然不是网上说的T4,但P100的计算力6.0也很高了!!
概括地讲,Colab就是一个完全在云端运行的,免费的Jupyter NoteBook环境,上手十分简单。Colab本身就有Tensorflow,SicPy,NumPy,Pandas等一系列十分强大十分流行的第三方库,因此你不需要进行任何设置就可以直接使用,是不是有种拎包入住的感觉🤣。
二、Colab使用攻略
你需要的工具有:Google账户,Google Drive以及任意门🚪。
2.1 访问网站并上传项目文件
首先,登录Google Drive,这是最基础的一步,如果无法登录后续都是纸上谈兵了。
可以看到,谷歌云盘给每一位用户都提供了15GB大小的免费空间,用来上传文件跑一些模型是可以应付得过去的。
2.2 创建你的第一个Colaboratory
2.2.1 创建Colaboratory
上传项目之后,在空白处单击鼠标右键,出现如下界面:
点击更多,选择Google Colaboratory
,若没有这一选项,可通过点击关联更多应用,搜索colab后进行相应的插件安装授权即可。选择确认时候,第一个notebook就创建好了,熟悉jupyter notebook的同学看到应该会倍感亲切。
2.2.2 设置GPU运行
Colab默认运行方式为None,若想使用GPU或TPU,通过修改-->笔记本设置
进行修改即可。
2.3 挂载Google Drive
这里提供两种办法:
2.3.1 方法一
输入如下代码:
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
运行后会在输出单元格看到一个链接,点击授权后复制授权码并输入即可,如下图所示:
接下来输入以下代码:
!mkdir -p drive
!google-drive-ocamlfuse drive
运行即可。
2.3.2 方法二
输入如下代码:
from google.colab import drive
drive.mount('/content/gdrive')
运行之后和法一类似,也会跳转授权,获取授权码并进行相应输入,如下图所示。
2.4 更改工作路径
在colab环境中,挂载Google drive的位置是 /content/drive/ 。
colab中的notebook和py文件默认都是以 /content/ 作为工作目录,如果忽略这一特点,路径写错会导致执行抛出异常。
可通过导入os,使用os.chdir()方法更改至文件所在路径。
import os
os.chdir("/content/gdrive/My Drive/A2")
若不确定文件路径,可以通过如图所示的方法,找到对应文件后,单击右键-->复制路径
即可。
2.5 安装依赖的第三方库
可通过!pip list
指令查询所有库,若使用的第三方库不在列表中(如mxnet
),可使用!pip install xxx
进行下载。
Colab最好的一点就是完全不用担心环境,就算不小心搞跨掉,删掉新建一个笔记本又是一条好汉。
2.6 执行文件
这里提供两种方法:
- 和运行Jupyter Notebook方法一致;
- 通过上传相应的项目文件以及数据集,使用命令行运行,该方法需要注意路径的正确性。
!python train.py
至此,大功告成!
三、总结
Colab的基本使用方法差不多到这里就结束了,写这篇主要是因为发现还是有很多人不知道Colab这个香饽饽的,因此写了一点Colab的入门,分享给大家!(❗真香警告❗)