Colaboratory 是一个研究项目,可免费使用。并且提供免费GPU!
一.部署
1.安装google助手插件
满足网络要求。
2.注册google账号
注册方法: https://jingyan.baidu.com/article/15622f24a295c2bdfcbea5f5.html
3.登录google云端
Google云端: https://drive.google.com
4.关联Colaboratory
关联过程使用google账号进行验证。 https://colab.research.google.com/
5.进入google Colaboratory
- 设置运行时类型:【代码执行程序】–【更改运行时类型】进入【笔记本设置】对话窗口,【运行时类型】选择“Python 3”,【硬件加速器】选择“GPU”。
- 查看显卡信息:
!nvidia-smi
注:
-
每隔12小时Colab会强制回收被占用资源,注意保存训练模型。
-
linux 系统
-
查看Torch版本(附加)
import torch
print(torch.__version__)
- 切换到后台(附加)
!python
- 查看系统已安装包(附加)
!pip list
- 安装新包(附加)
如:安装 matplotlib
!pip install matplotlib
二.训练
1.步骤如下:
(1)创建项目。
在google云端创建项目文件夹。
(2)上传项目。
不建议上传大量图片数据。
(3)后台执行:
在项目文件夹中,右键选择Colaboratory。在项目文件夹中出现Untitled0.ipynb,以此当做后台窗口。同时弹出Untitled0.ipynb窗口,在后端操作项目。首先需要将Colab和云端挂载到一起。
- 挂载:
from google.colab import drive
drive.mount('/content/gdrive')
- 更改运行目录
import os
os.chdir ("/content/gdrive/My Drive/fir")#fir:要更换的根目录盘地址
- 查看当前完整路径
!pdw
- 加载盘
!cd '/content/gdrive/My Drive/fir'#fir:要更换的根目录盘地址
- 切换到你要跑的目录下面
!ls '/content/gdrive/My Drive/fir'#fir:要更换的根目录盘地址
- 运行
!python fir1/test.py#fir1:地址;test.py:要运行的文件
2.附加:
(1)解压压缩包
- 先move到/content/目录下
mv file.rar /content/ #file.rar是要解压的文件名
- 解压
!unrar x file.rar
(2)删除
!rm rf file
3.Colaboratory优缺点
(1)优点
- 免费提供GPU,降低成本,对买不起GPU的学生党来说是重大福音
显卡对比前一代K80有较大提升
(2)缺点
- 网络不稳定,经常出现断连的情况, 每隔一段时间需要切进来点击连接,一旦断连时间过长就会停止运行,等于白跑了
内存不够,大型网络会显得捉襟见肘
Colab平台对于入门机器学习或深度学习的用户来说是较好的工具,但是如果想要在CV/NLP领域做科研发好的论文显然性能是不够的,建议配置好的服务器或者到极客云/阿里云/腾讯云租界云服务器。
4.好文链接:
- https://blog.csdn.net/qq_22762909/article/details/90639294
- https://www.jianshu.com/p/b6c9474d294c