Google Colab使用

特点

优点

1. 每天可以免费使用 Tesla T4 12 小时

Wed Mar  8 05:57:41 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            Off  | 00000000:00:04.0 Off |                    0 |
| N/A   67C    P0    31W /  70W |      0MiB / 15360MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

CPU 配置

Intel(R) Xeon(R) CPU @ 2.30GHz
cpu cores	: 1

2.深度学习的环境基本齐全，基本不需要额外配置环境

3. 可以挂载 Google 云盘，方便保持代码，数据集，权重

缺点

1.容易会话结束，要及时保存运行结果
2.需要科学上网

注意说明

1.colab 上生成的文件都是临时的，我们需要保存的话，务必及时下载到本地，右键想要下载的文件即可
2.colab 中的环境配置，随着 colab 笔记本的关闭而失效
3.在 python 终端运行指令，指令前需要加 ! 号

!pip install torch===1.4.0 torchvision===0.5.0 -f https://download.pytorch.org/whl/torch_stable.html
!pip install tensorboard
!pip install tensorboardX

4. 在 bash 终端运行 shell 指令，指令前需要加 % 号

%cd "/drive/MyDrive/xxx"

基本操作

1.切换（指定）当前的工作目录

import os
os.chdir('drive/MyDrive/xxx')

2.执行 python 代码

!python main.py

3.设置定时点击脚本

长时间不动 colab，可能会出现断开连接的情况，这时候程序就停了。虽然还保存了已经训练得到的模型，但还是没有训练完，所以设置一个定时点击页面的脚本：

• 在网页按 F12，进入调试页面 - console 控制台
• 输入下面的代码，按 Enter 回车即可

function ClickConnect(){
    console.log("Clicked on connect button"); 
    document.querySelector("paper-button").click()
}
setInterval(ClickConnect,60000) 

如果想要停止该脚本，刷新浏览器，colab 不会断开。

4.快捷键

运行某个 cell 单元格的一部分: 选中代码，Ctrl+Shift+Enter
折叠运行结果 Ctrl+M+O
运行单元格 Crtl+Enter
运行单元格并添加一个代码单元格 Shift+Enter

关键步骤

用 colab 训练自己的模型：

• 上传项目代码：将自己的项目代码上传到 goole 云盘
• 上传数据
• 挂载 google 云盘：使用授权码挂载 google 云盘
• 配置项目运行环境
• 运行 python 文件：在 ipynb 用命令执行 python 文件

上传项目代码

方法一（小项目推荐，上传文件小）

• 在 google 云盘中新建项目文件夹
• 点击【新建】，点击【上传文件夹】，选择对应的文件夹
  
  方法二（大项目推荐，上传文件大）
• 在 google 云盘中新建项目文件夹
• 挂载 google 云盘
• 将本地项目代码上传到 github
• 切换工作目录，切换到新建的项目文件夹下

import os
os.chdir('drive/MyDrive/xxx')

• 在 colab 中 git clone 下载项目代码:

!git clone https://github.com/WZMIAOMIAO/deep-learning-for-image-processing.git

上传数据

将数据集上传到 google 云盘，建议直接上传压缩包，速度快，后面直接在 Colab 中解压即可。

#解压文件
!unzip /PATH/TO/images.zip -d /PATH/TO

依赖管理

导出项目运行所需的依赖包

pip freeze > ./requirements.txt

安装项目运行所需的依赖包

pip install -r ./requirements.txt