Goolge Colab使用教程

目录

1.1在谷歌云盘上创建文件夹

1.2 创建一个新的Colab Notebook

1.3 设置免费的GPU

1.4  执行命令

 1.5 挂载Google Drive

1.6 如何上传文件

1.7 运行自己的代码

 1.8 如何防止Colaboratory断掉

1.9 数据解压

注意事项


1.1在谷歌云盘上创建文件夹

        当登录账号进入谷歌云盘时,系统会给予15G免费空间大小。由于Colab需要依靠谷歌云盘,故需要在云盘上新建一个文件夹。比如,我建立一个名为mask_Rcnn的文件夹:

 

1.2 创建一个新的Colab Notebook

--先把谷歌云盘关联上colab
        点击 New -> More -> 关联找到更多应用, 找到Google Colaboratory,关联上。

 --在文件夹内的空白处右键 -> 更多 -> Colaboratory

--或者点击 新建 -> More ->Google Colaboratory

 创建完就出现下边的界面,点击文件名可以重命名文件:

1.3 设置免费的GPU

         它是很容易更换默认的硬件(None,GPU,TPU),通过 修改->笔记本设置或者代码执行程序->更改运行时类型来选择GPU,作为硬件加速.

  • 查看自己是否处于GPU环境
    • 只需要运行下列代码即可
    • import tensorflow as tf 
      tf.test.gpu_device_name()
    • 如果显示下面的代码就证明是在GPU环境下,但如果什么都没有显示出来的话,说明不是在GPU环境,那么返回到打开GPU重新设置即可

 

1.4  执行命令

colab这个相当于jupyter notebook,可以直接运行python 代码,如

import os
import numpy as np
x='ok'
print(x)

         这个notebook又可以执行linux下的一些命令,因为这其实是一台linux的虚拟机,只不过执行linux命令的时候前面要加!,比如:!ls , !pwd等等

 1.5 挂载Google Drive

        其实就是让这个notebook可以访问到你的谷歌云盘,运行以下代码,会出现一个授权链接。

from google.colab import drive
import os
drive.mount("/content/drive", force_remount=True)

 将当前目录切换到谷歌云盘,然后查看你云盘里的文件;

 之后每次重新登录都要1.5这两个步骤.接下来就可以像使用linux系统一样去使用了。

1.6 如何上传文件

第一种:直接上传

 第二种:代码上传

进入到文件所在目录

import os
path="/content/drive/My Drive/Colab Notebooks/Your directory name"
os.chdir(path)
os.listdir(path)
!python train.py  //注意colab中执行命令前要加!

第三种:github上传 

通过colab使用github或本地Notebook,点击 文件->上传笔记本,然后在弹出的窗口中选择合适的选项:

1.7导入库

最新colab 默认是可以导入tensorflow 和pytorch,默认的安装包可以通过如下命令查看:

!pip list

 便会输出所有pip的包。如果没有可以通过命令安装

!pip install 
!apt-get install

        接着是Pytorch, Pytorch的安装和我们在Linux上安装一样,点击官网选择要环境。然后只需要将官网提供的代码copy到我们的代码块中,并且在代码前加上一个“!”点击运行即可,如下 

!pip3 install https://download.pytorch.org/whl/cu80/torch-1.0.0-cp36-cp36m-linux_x86_64.whl
!pip3 install torchvision

然后我们可以输入官网提供的代码作安装的测试 如果有如下输出就证明我们安装成功

import torch
x = torch.empty(5, 3)
print(x)

tensor([[1.1790e-25, 0.0000e+00, 4.4842e-44],
        [0.0000e+00,        nan, 1.6255e-43],
        [3.3587e-06, 5.2898e+22, 6.5625e-10],
        [2.0804e+23, 8.2726e+20, 6.6715e-10],
        [1.6993e-04, 2.7150e-06, 6.0611e-39]])

        如果要安装其他的包,框架,或者某一版本的方法和我们在Linux环境下安装几乎没有差别 只需要注意在运行前加上“!”,换计划说你可以把Google Colab看成是一个Linux系统的页面。

注意:

cuda/cudnn的安装,直接贴链接Google Colab NVIDIA安装,不过现在不需要安装了。

1.8运行自己的代码

首先挂载,然后进入到文件所在的目录

import os
os.chdir('/content/drive/MyDrive/mask_Rcnn') 

然后,就可以运行自己的主函数了 

!python train.py

 可以显示RAM和Disk才是正常的Colaboratory状态,如果出现busy表示GPU忙不可用。

 如何改变busy的状态呢,重新连接Colaboratory即可。点完之后,状态就变成了restarting重启。

但是需要注意,重启之后,所有的状态就都清零了,需要重新再运行一遍代码才可以

 1.8 如何防止Colaboratory断掉

  • 安装Auto reconnect colab,只要浏览器打开页面有网,就可以一直给你连接上,
  • 我这里设置的是2分钟连接一次,具体时间间隔,就看你自己的心情了

1.9 数据解压

用 Google Colab 解压zip大文件时,(授权后)先不要更改工作目录,直接在默认目录"/content"下解压!

!unzip xxx.zip

        在Colab notebook中发现解压文件速度奇慢无比。在之后的几次尝试中发现,打开 Colab notebook 并授权后,先不要更改工作目录,直接将数据集压缩文件下载到当前目录"/content"下,并使用 "!unzip"命令解压,速度和在pc上解压差不多。再将解压后的文件移动到指定文件夹下即可,然后就可以更改工作目录了。

综上所述:先将数据集压缩打包,然后传压缩包到谷歌云端,再压缩,速度可以快很多。

1.10  使用技巧

查看函数帮助文档和源码

        与IDE相似,您可以通过按Ctrl,然后单击一个类名来转到类定义。例如,在这里我们通过按Ctrl并单击Dense类名来查看Keras中Dense层的类定义。       

 

注意事项

  1. Colab是带有GPU的linux虚拟机,执行linux命令时前面需要加“ !”,执行python代码时可以直接编写执行。

  2. 每次重新登录需要挂载Google Drive,会在虚拟机里生成一个drive(即/content/drive/)文件夹,然后要执行命令将当前路径切换到/content/drive/My Drive/,才可以看到谷歌云盘上的文件。

  3. Colab最多连续使用12小时,超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。并且经常使用GPU的colab用户之后分配到使用GPU的优先级会变低,所以不用的使用请将runtime type设置为None。

  4. 上传数据集的时候,一定要上传到谷歌网盘中,并且一定要上传的是压缩包,在Colaboratory中解压才行。

  5. 每运行一步的时候,需要等待的时间都特别长,一直是在转圈

  6. 挂载只有12个小时,也就是说12小时之后你就需要重现挂载一次,所以就需要我们在进行模型训练的时候记得要加上checkpoint,不然你如果训练的模型超过12小时,Google断开挂载你就白白浪费12小时啦。

  7. 假如自己离开页面太久的话,也会自动断掉的。假如电脑断网了,或者关机重启了,只要时间不是特别长一般是没事的,但假如说时间太久的话,就只能是重新训练了

  8. 长时间运行一类任务会断掉

  • 3
    点赞
  • 80
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Google Colab是由谷歌开发的基于云计算模式的Python交互式环境。它提供了免费的云存储、GPU加速计算等功能,方便用户进行机器学习和数据分析等任务。Google Colab工作环境基于Jupyter Notebook,提供丰富的编辑环境和代码编辑区域,同时也支持文件上传下载、协作编辑等功能。用户可以直接在Colab中编写代码、运行代码、可视化结果并分享笔记本,使得协同工作更加便利。Google Colab还提供了一系列的示例代码和数据集,方便用户快速开始工作。此外,Google Colab也支持多种外部库和框架的集成,包括TensorFlow、PyTorch、Scikit-Learn等等。Google Colab的优点在于让用户无需担心运行环境配置和硬件设备的问题,只需要连接网络即可享受高性能计算和机器学习体验。 在实际工作和学习中,Google Colab是一个非常方便、快捷、强大的工具,让用户能够轻松进行数据分析、深度学习、机器学习等等任务,加速您的工作流程,提高数据视觉化和深度学习技能等方面的技能水平,是一种非常值得尝试的工具。 ### 回答2: Google Colab是一个基于云端的Jupyter笔记本,可以免费使用。它提供了一个可以运行Python代码的环境,通过让用户无需自己设置Python环境,可以快速和方便地进行代码开发和学习。 Google Colab通过连接到Google云计算平台,提供了大量的计算资源。这意味着用户可以像在本地电脑上一样对大数据集、深度学习和机器学习算法进行实验,而不必担心内存和处理器的限制。 使用Google Colab,用户可以创建自己的笔记本、导入和导出笔记本、共享笔记本以及与其他用户进行协作。由于一些常用的Python包和库,如NumPy、Pandas、Scikit-Learn、TensorFlow等经常会被使用到,Google Colab 提供了默认的安装,因此用户无需再次安装它们,可直接在笔记本中使用。 Google Colab还具有其他优势,如自动保存、更改历史记录、git集成、Markdown和Latex支持等。它还提供了API,可以在代码中调用Google云平台上的Google服务,如Google Drive、Google BigQuery等,使其具有更强大的功能。 总之,Google Colab通过连接到云计算平台、提供丰富的计算资源和便携的笔记本,提供了开发和学习Python的优雅方式,成为热门的Python编程工具之一。 ### 回答3: Google Colab是一种云端的Python开发环境,由Google开发,基于Jupyter Notebook,可以免费使用。Colab可以在任何设备上运行,使开发、测试和部署机器学习模型变得更加简单和高效,广受科研人员和数据分析师们的喜欢。 Colab的优点包括: 1.免费:Colab是完全免费的,无需支付任何费用。它可以为用户提供Google云计算的全部优势。 2.易于使用:Colab的用户界面简单易懂,无需任何设置,即可开始使用。 3.包含强大的IT资源:Colab支持Python和TensorFlow等各种开发环境,并且内置的硬件可以很好地支持训练深度学习模型。 4.轻松分享:Colab用户可以使用Google Drive或GitHub等网站轻松地分享代码,并与其他Colab用户合作。 5.智能化代码编辑:Colab支持代码智能补全、语法高亮和其他操作。这会减少错误并提高编码效率。 总而言之,Google Colab对于需要高性能计算的科学家和数据分析师是一个非常好的选择。它可以帮助您快速、轻松地开始编写、训练和部署机器学习模型。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值