在Colab上复现TSN

一、Colab简介和使用说明

1.Colab简介

colab是谷歌的一个线上深度学习训练平台，对于刚进实验室还没分配到工作站的研究生非常之友好。但是分配到工作站以后，不管是算力还是金钱还是方便程度，还是工作站香。
网址： https://colab.research.google.com/?utm_source=scs-index.

2.Colab使用说明

进去网页以后可以新建一个google colaboratory，可以把这个新建的页面当做jupyter+linux终端使用，里面既可以敲python，又可以加!敲linux命令。

2.1两种使用方式

2.1.1连接谷歌云盘

第一种方式是把.ipynb文件连接到谷歌云盘。
优点：所有下载、更改以及产生的数据都会同步到谷歌云盘并且保存，
缺点：假如处理大数据集的时候，时间占用最多的不是训练过程，而是数据的IO读写过程（反正就是云端与.ipynb之间的数据读写贼慢）；而且谷歌云盘的空间也只有十几个G，处理不了大数据集。
使用方法：要使用这种方法就只需要在最开始加以下命令并运行，点击运行产生后的网址登录自己的谷歌账号就ok了。
建议：复现模型的时候使用，把数据集删减一些，这样可以保存代码调试数据和运行结果，方便理解。

2.1.2不连接谷歌云盘

第二种是不连谷歌云盘，直接在分配的在线的存储空间上跑。
优点：好处是快的一批，而且在线分配的存储空间也挺大，好像不开pro也有200G左右。
缺点：一段时间没有代码运行就会自动断开与谷歌服务器的连接，就得一切从头开始。
使用方法：直接不用输上图的代码，直接用就可以。
建议：在跑正儿八经的大模型的全数据集的时候使用，这样训练能快点儿。

2.2具体使用细节

2.2.1GPU设置

在新建的colaboratory页面点击修改，里面有个笔记本设置，点进去选择GPU，点保存，等待右上角分配GPU即可。（google白嫖的算力貌似还不如1080，tb上可以买pro，一个月75RMB）
注意，一定要先分配GPU再进行后面操作，不然等你把数据集啥的都弄完了再分配，你就发现你得再重新再搞一次

2.2.2程序管理

点击代码执行程序选项，里面有个管理会话，可以管理你打开的所有colaborabory（其实没太有必要，每一个文件都分配独立的在线空间）。

<