使用Google colab 跑Google drive的数据集

用Google colab链接Google drive

已经有了谷歌账号后,Google drive有免费15G的空间,Google colab也可以白嫖12小时,12小时后自动断线而且所有训练的数据都会消失,10美元一个月可以享受最高端的GPU,某某云学着点!

要让两个链接的话,输入一下代码,顺便说一下,要想在Google colab上运行Ubuntu指令,只用加上!即可

# 查看工作路径
import os
 
print(os.getcwd())
 
 
# 修改工作路径
import os
from google.colab import drive
# drive.mount('/content/gdrive')
 
path = "/content/gdrive/MyDrive/Colab Notebooks/<自己的目录>"
os.chdir(path)

其中会出现让你填一个谷歌网站的什么什么码,复制粘贴就行,然后就在左上角出现个Google drive的图标 

查看当前目录的文件

!ls

如果没问题的话就会显示正确的文件

查看链接GPU并查看GPU状况

我自己的电脑的显卡是2060,6G的显存根本不够,所以才选的Google colab

在左上角的Edit, notebook setting的hardware acceleration 上选择GPU,然后

!nvidia-smi

出现GPU型号的那个就说明给你分到了一个GPU

读取Google drive上的文件

没啥要说的,要注意的一点是所有的文件路径都要是绝对路径,从/content开始的,如下

/content/drive/MyDrive/Colab Notebooks/SuperNNet/dataset/

杀死进程以清除所有显存(十分不推荐)

在跑代码的过程中如果出现意外退掉,好像GPU的显存是那么多,运行会说显存不够,那么可以清除所有的显存

用fuser查占用gpu进程

!sudo fuser /dev/nvidia*

用查到的pid杀进程，释放gpu显存

!kill -9 [pid]

杀死后大概率是要从新跑了,几天的辛苦白费了,所以不推荐,但也没啥好的方法...

重点:解决Google colab休眠的问题

google colab会跑着跑着发现你不动电脑了,然后就自己断线把GPU给别人,为了防止这个事情,你必须时时刻刻坐在电脑前,时不时动一动Google colab的界面,否则你就要

1.按F12

2.在console下写入以下js, 5表示每5分钟点一下connect按钮

function ClickConnect(){
    console.log("Clicked on connect button"); 
    document.querySelector("colab-connect-button").click()
}
setInterval(ClickConnect,5*60000)

 回车运行

详情https://stackoverflow.com/questions/57113226/how-to-prevent-google-colab-from-disconnecting