划重点:免费GPU,免费GPU,免费GPU
官方说明:
1.Colab是Google提供的一个研究型项目。可以免费使用CPU,GPU,TPU环境。具体可免费使用多久还不知道。
2.Colab支持NoteBook的,支持各种深度学习框架。
3.官方说明:
https://colab.research.google.com/notebook
与其花钱买服务器资源,用colab的免费资源真的是太香了。用于研究和测试绝对是足够了。最近在使用Bert的时候,发现和自己笔记本Cpu的速度快了近20倍(可能我电脑太差enmmm)
教程开始
提前准备:没有的话就不要往下面继续了。
1.Gmail账号
2.上(ti)网(zi)环境(联系我获取FQ方式)
1.进入Google云盘
https://drive.google.com/drive/my-drive
可以右键新建文件夹,以及上传自己需要的数据文件。
2.在文件夹中创建Colab笔记本。也就是notebook
通过右键单击>更多> Colaboratory创建一个jupyter notebook
可以通过点击文件名,进行文件重命名
3.设置使用GPU
点击 修改>笔记本设置>None/GPU/TPU>保存
4.现在就可以运行一些linux的一些命令 “!”
可以使用一些ls,cd,pip install 等等。可以根据自己的需求安装一些软件包或者卸载软件包,然后安装特定版本的软件包。
然后一些其他的使用方式和jupyter的使用方式是一致的。包括代码块的添加删除等。
5.关联Google Driver
关联Google云盘和挂载,方便使用我们的网盘数据。然后利用自己上传的一部分数据就可以做模型研究测试了。首先在代码块中运行一下代码。然后根据提示
# 挂载文件到服务器
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
!mkdir -p drive
!google-drive-ocamlfuse drive
运行后,会提示一些链接信息。点击链接信息输入对应的token后就能够拿到对应的鉴权了。注意一共会有两次输入。
6.网盘文件使用
文件的使用和在服务器上的文件使用是一样的。只需要读取对应的文件路径就ok啦。也可以使用”!ls”进行文件查看
Eg : #path = './drive/study/data/test.csv'
7.然后就可以愉快的玩耍了
服务器相关信息查看
1.查看是否使用GPU
import tensorflow as tf
tf.test.gpu_device_name()
CPU情况:
GRU情况:
2.GPU的信息
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
随机分配到了Tesla T4。
3.查看内存环境信息
!cat /proc/meminfo
4.查看CPU的信息
!cat /proc/cpuinfo
更多文章请关注公众号: