Google Colab 免费GPU服务器使用教程

转载 2018年04月16日 00:00:00

本文来源:https://blog.csdn.net/cocoaqin/article/details/79184540


一、前言

不知道大家是否为了寻找免费GPU服务器而焦头烂额。 近些天,谷歌推出了Google Colab(Colaboratory)

链接:https://colab.research.google.com/

官方对其的说明是:

Colaboratory 是一个研究项目,可免费使用。

划重点,最重要的特点是 免费GPU!免费GPU!免费GPU! 

虽然不确定这个项目是不是永久的 

但这无疑给纠结在是否花大量钱租用GPU服务器进行研究的个人研究者带去了重磅福利! 

经过查阅资料与亲自实践,特把相关教程写成博文分享给大家。 

由于博主水平能力有限,难免有错误,欢迎指正哈!


二、Google Colab特征

Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。


Colaboratory 笔记本存储在 Google 云端硬盘中,并且可以共享,就如同您使用

Google 文档或表格一样。Colaboratory 可免费使用。


利用Colaboratory ,可以方便的使用Keras,TensorFlow,PyTorch等框架进行深度学习应用的开发。


三、开始使用

注意:使用google服务可能需要梯子

3.1在谷歌云盘上创建文件夹

当登录账号进入谷歌云盘时,系统会给予15G免费空间大小。由于Colab需要依靠谷歌云盘,故需要在云盘上新建一个文件夹。 

选择新建文件夹,文件夹名称可自定义。

3.2创建Colaboratory

进入创建好的文件夹,点开新建-更多。 

640?wx_fmt=png
如果在更多栏里没有发现Colaboratory,选择关联更多应用,搜索Colaboratory,选择关联。 

640?wx_fmt=png


3.3创建完成

创建完成后,会自动生成一个jupyter笔记本,是不是很熟悉~ 

640?wx_fmt=png


四、设置GPU运行

选择 修改-笔记本设置 

640?wx_fmt=png

将硬件加速器设置为GPU即可 

640?wx_fmt=png


五、运行.py文件

5.1安装必要库

输入相应代码,并执行(crtl+F9)


!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}



  • 1

  • 2

  • 3

  • 4

  • 5

  • 6

  • 7

  • 8

  • 9

  • 10

  • 11

  • 12

运行后,会出现以下提示

640?wx_fmt=png
先点开相应的链接,选择自己的谷歌账号,并允许,最后会得到相应的代码,输入相应的框中即可

5.2 挂载云端硬盘

同上,输入下面命令,执行即可

!mkdir -p drive!google-drive-ocamlfuse drive  -o nonempty
  • 1

  • 2

5.3 安装Keras

同理,输入命令

!pip install -q keras
  • 1

5.4 Hello Mnist!

将代码粘入jupyter笔记本中,运行,即可开始奇妙的Google Colab之旅 
代码摘自:

https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py

'''Trains a simple convnet on the MNIST dataset.
Gets to 99.25% test accuracy after 12 epochs
(there is still a lot of margin for parameter tuning).
16 seconds per epoch on a GRID K520 GPU.
'
''

from __future__ import print_function
import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras import backend as K

batch_size = 128
num_classes = 10
epochs = 12

# input image dimensions
img_rows, img_cols = 28, 28

# the data, shuffled and split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()

if K.image_data_format() == 'channels_first':
   x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)
   x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)
   input_shape = (1, img_rows, img_cols)
else:
   x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)
   x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)
   input_shape = (img_rows, img_cols, 1)

x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

# convert class vectors to binary class matrices
y_train
= keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
                activation='relu',
                input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

model.compile(loss=keras.losses.categorical_crossentropy,
             optimizer=keras.optimizers.Adadelta(),
             metrics=['accuracy'])

model.fit(x_train, y_train,
         batch_size=batch_size,
         epochs=epochs,
         verbose=1,
         validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])



  • 1

  • 2

  • 3

  • 4

  • 5

  • 6

  • 7

  • 8

  • 9

  • 10

  • 11

  • 12

  • 13

  • 14

  • 15

  • 16

  • 17

  • 18

  • 19

  • 20

  • 21

  • 22

  • 23

  • 24

  • 25

  • 26

  • 27

  • 28

  • 29

  • 30

  • 31

  • 32

  • 33

  • 34

  • 35

  • 36

  • 37

  • 38

  • 39

  • 40

  • 41

  • 42

  • 43

  • 44

  • 45

  • 46

  • 47

  • 48

  • 49

  • 50

  • 51

  • 52

  • 53

  • 54

  • 55

  • 56

  • 57

  • 58

  • 59

  • 60

  • 61

  • 62

  • 63

  • 64

  • 65

  • 66

  • 67

  • 68

  • 69

640?wx_fmt=png
每一个epoch都只用了十多秒! 

是不是很有意思呢!


References: 
https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d


google colab 免费使用GPU

google colab 免费使用GPU 最近在做brain segmentation的调研,公司的显卡没到,一台笔记本只有3G的显存,跑一个3d的networks就资源耗尽。刚好听说了google...
  • linhai1028
  • linhai1028
  • 2018-02-07 02:19:22
  • 1256

Google Colab 免费GPU 教程

Google Colab 免费GPU 教程 近日google的交互式工具Colaboratory推出GPU支持的版本,支持免费的Tesla K80,可以使用Keras、Tensorflow和Pyto...
  • u014636245
  • u014636245
  • 2018-02-13 16:58:21
  • 696

[FreeGPU]colab用法详解 妈妈再也不用担心我们买不起显卡租不起服务器啦

colaboratory = Jupyter + GPU Following these steps, you are able to enjoy GPU service for FREE. ...
  • weixin_37993251
  • weixin_37993251
  • 2018-01-27 21:20:11
  • 603

Google免费GPU使用攻略

google drive链接 在Google Drive上创建文件夹 Colab用的数据都存储在Google Drive云端硬盘上,所以,我们需要先指定要在Google Drive上用的文件夹...
  • hzh_0000
  • hzh_0000
  • 2018-02-02 11:17:15
  • 414

免费使用谷歌GPU资源训练自己的深度模型

作者:刘威威           编辑:黄俊嘉           注:本文编译自medium,原英文链接:https://medium.com/@nickbourdakos/train-your-m...
  • l7H9JA4
  • l7H9JA4
  • 2018-03-23 00:00:00
  • 389

免费GPU计算平台-Floyd使用教程

集智俱乐部/AI学园          http://mp.sohu.com/profile?xpt=cHBhZzI0MDUyNGZjYjQ4NkBzb2h1LmNvbQ==&_f=index_pag...
  • as472780551
  • as472780551
  • 2017-11-21 13:01:55
  • 1047

薅资本主义羊毛,用Google免费GPU

英伟达Tesla K80 GPU,2599美元一块,还很难买到;搭载K80的AWS EC2 P2实例,用起来也很肉疼。高大上的GPU,不花钱也能用上。Google的一项免费云端机器学习服务,最近也用上...
  • sfM06sqVW55DFt1
  • sfM06sqVW55DFt1
  • 2018-02-01 00:00:00
  • 666

【深度学习】谷歌云GPU服务器创建与使用指南(一)

相关【深度学习】谷歌云GPU服务器创建与使用指南(二)本教程前提要求:电脑自带梯子(vps等)。需要【方便快捷】【全平台通用】【不限设备数量】【不限流量】【价格低廉】【比搬瓦工ssr等更加方便实用】的...
  • sinat_25838589
  • sinat_25838589
  • 2018-01-08 16:36:05
  • 3287

免费使用谷歌的深度学习云服务

在上一篇文章《机器学习硬件设施差?免费使用谷歌的GPU云计算平台》中,我们说明了如何使用Google Colab云平台。通过Jupyter Notebook,我们可以交互式的运行python脚本,然而...
  • mogoweb
  • mogoweb
  • 2018-03-13 13:53:26
  • 501

How to plot scikit learn classification report?

````import matplotlib.pyplot as pltimport numpy as npdef show_values(pc, fmt=&quot;%.2f&quot;, **kw)...
  • jiandanjinxin
  • jiandanjinxin
  • 2018-03-28 17:38:04
  • 17
收藏助手
不良信息举报
您举报文章:Google Colab 免费GPU服务器使用教程
举报原因:
原因补充:

(最多只允许输入30个字)