20种小技巧，玩转Google Colab

本文转载自机器之心。

选自amitness.com

作者：Amit Chaudhary

机器之心编译

编辑：陈萍

Google Colab 给广大的 AI 开发者提供了免费的 GPU，你可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。但关于 Colab 的使用技巧你又掌握了多少呢？这篇文章将介绍 20 种 Colab 使用技巧，帮你提高使用效率。

1. 便签本 Notebook

当我们在 colab 上尝试一些临时的东西时，我们会创建一堆杂乱、没有标题的 Notebook。

为了解决这个问题，你可以把以下链接加入书签：https://colab.research.google.com/notebooks/empty.ipynb

这将打开一个特殊的 scratch notebook，并且你对该 notebook 所做的任何更改都不会保存到你的主目录中。

2. 单元计时

通常，我们手动计算一段代码的开始时间和结束时间之间的差值来衡量所花费的时间。Colab 提供了内置功能来执行此操作。在执行了一个单元（cell）之后，将鼠标悬停在单元运行图标上，你将获得代码执行时间的估计值。

3. 运行某个单元的一部分

你也可以运行某个单元的一部分，通过选择单元格并点击 Runtime 索引到 Run Selection 按钮或使用键盘快捷键 Ctrl + Shift + Enter。

4. Jupyter Notebook 快捷键

快捷键为编程带来了便利，但 Jupyter Notebook 中的快捷键不能直接在 Colab 中使用。不过，这里有一个关系映射表来解决这一问题。从中可以看出，你只需要在 Jupyter 的快捷键前面加上「Ctrl +M」就能在 Colab 中使用。此规则适用于大多数快捷键。

以下是一些特例，其快捷方式已完全更改或保持不变。

5. 跳转到类定义

与 IDE 相似，你可以通过按 Ctrl 键，然后单击一个类名来跳转到类定义。例如，在这里我们通过按 Ctrl 并单击 Dense 类名来查看 Keras 中 Dense 层的类定义。

6. 在 GitHub 中打开 Notebooks

Google Colab 团队提供了官方的 Chrome 扩展程序。使用 colab 时，可以直接在 GitHub 上打开 notebooks。

扩展程序下载地址：https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安装后，单击 GitHub notebook 的 colab 图标直接将其打开。

或者，你也可以手动打开 GitHub notebook，将 github.com 替换为 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb 

替换为

 

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更简单的方法是用 githubtocolab.com 替换 github.com。

 

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb 

替换为

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 从 Colab 运行 Flask 应用

使用 flask-ngrok 库（https://github.com/gstaff/flask-ngrok），你可以轻松地将运行在 colab 上的 Flask Web 应用程序转换为一个 demo 原型。

首先，你需要安装 flask 和 flask-ngrok。

!pip install flask-ngrok flask==0.12.2

然后，你只需要将「flask app」对象传递给「run_with_ngrok」函数，它将在启动服务器时公开 ngrok 端点。

from flask import Flask
from flask_ngrok import run_with_ngrok


app = Flask(__name__)
run_with_ngrok(app)


@app.route('/')
def hello():
    return 'Hello World!'
    
if __name__ == '__main__':
    app.run()

8. 在 Tensorflow 版本之间切换

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之间切换。

要切换到 Tensorflow 1.15.2，请使用以下命令：

%tensorflow_version 1.x

要切换到 Tensorflow 2.2，请运行以下命令：

%tensorflow_version 2.x

你需要重新启动才能生效。出于性能考虑，Colab 建议使用预安装的 Tensorflow 版本，而不是用 pip 命令安装它。

9. Tensorboard 集成

Colab 还提供了一个命令，可以直接从 notebook 使用 Tensorboard。你只需要使用 --logdir 设置日志目录位置。

你可以从官方 notebook 学到它的使用方法：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

%load_ext tensorboard
%tensorboard --logdir logs

10. 查看资源限制

Colab 为他们的免费版本和专业版本提供了以下规格。根据自己的情况，如果你需要更好的运行时间、GPU 和内存，你可以以每月 10 美元的价格切换到专业版本。

可以通过运行以下命令查看你已经被分配到的 GPU：

!nvidia-smi

有关 CPU 的信息，可以运行此命令：

!cat /proc/cpuinfo

此外，你还可以通过运行以下命令查看 RAM 容量

import psutil
ram_gb = psutil.virtual_memory().total / 1e9
print(ram_gb)

11. 使用交互式 shell

Colab 中没有内置的交互终端。但是可以使用 bash 命令以交互方式试用 shell 命令。只需运行此命令，你将获得交互式输入。

!bash

现在，你可以在给定的输入框中运行任何 shell 命令。

要退出 shell，只需在输入框中键入 exit。

12. 当前的内存和存储使用情况

Colab 提供了 RAM 和磁盘使用情况的指示器。如果将鼠标悬停在指示器上，将弹出一个窗口，其中包含当前内存和存储使用情况和总容量。

13.「Open in Colab」 标志

你可以使用如下 markdown 代码在 README.md 或 jupyter notebooks 中添加「Open in Colab 」标志。

在这段代码中，我们正在加载 SVG 图片，然后将其链接到 colab notebook。

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)

14. Pandas 交互表

Colab 提供了一个 notebook 扩展，用于向 pandas dataframes 添加交互式排序和过滤功能。要使用它，请运行以下代码。

%load_ext google.colab.data_table

在加载下面的扩展之后，你可以看到常规的 pandas dataframe 和交互式 dataframe。

15. 设置 Conda 环境

如果将 miniconda 用作 python 环境管理器，你可以通过在 notebook 顶部运行以下命令，在 colab 上对其进行设置。

# Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh
# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local
# Make conda packages available in current environment
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

执行完单元后，你可以照常使用 conda 安装软件包。

!conda install -y flask

16. 从命令行管理 Colab Notebooks

你可以使用名为 colab-cli 的库轻松创建 colab notebooks 并将其与本地 notebooks 同步：https://github.com/Akshay090/colab-cli

17. 运行后台任务

在某些情况下，我们需要先启动一些 Web 服务器或后台任务，然后才能执行常规程序。

要运行后台任务，请使用「nohup」命令，然后使用常规的 shell 命令，并在末尾添加「＆」使其在后台运行。这样确保可以在之后的 notebook 中运行单元，而不会被后台任务终止。

!nohup bash ping.sh &

18. 提醒训练完成

如果你要执行耗时较长的任务（例如训练模型），你可以将 Colab 设置为在完成后发送桌面通知。

要启用此功能，请转到「Tools ⮕ Settings ⮕ Site」，然后启用「Show desktop notifications」复选框。

这时将弹出一个窗口，以启用浏览器通知。只要接受它，即使你在另一个选项卡、窗口或应用程序上，colab 也会在任务完成时通知你。

19. 运行 javascript 代码

使用 %%javascript 命令运行 javascript 代码。

20. 在 Colab 上运行 VSCode

你可以在 Colab 上运行完整的 VSCode。请参考文档：https://amitness.com/vscode-on-colab/。

原文链接：https://amitness.com/2020/06/google-colaboratory-tips/

备注：框架

TF&PyTorch交流群

扫码备注研究方向拉你入群。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到