colab的使用流程/读取google drive数据过慢的解决方案

colab的使用流程

数据集准备

刚开始我是将数据集文件夹上传到google dirve上去，然后colab的笔记本写代码去读取dirve里的数据集。但实际上colab笔记本和dirve之间文件传输也是基于网络的，速度堪忧。下面是一种解决办法：

1. 将数据集打包，上传至google dirve

2. 接下来在colab的notebook进行操作：

   1. 把dirve的数据包所在文件夹拷贝至colab工作区

   import shutil
   shutil.copytree('./drive/MyDrive/deeplearning/Data/caltech_targz', './Data')
   

   2. 进入该文件夹，解压缩，再返回最外层工作目录

   os.chdir('./Data')
   ! tar -zxvf 101_ObjectCategories.tar.gz
   os.chdir('/content')
   

3. 之后读取数据就很快了！

tensorboard的使用

1. 需要用到ngrok，下载

!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip

2. 配置

LOG_DIR = './drive/MyDrive/deeplearning/tensorboard/' #log存放的位置
get_ipython().system_raw('tensorboard --logdir {} --host 0.0.0.0 --port 6006 &'.format(LOG_DIR))
get_ipython().system_raw('./ngrok http 6006 &')
! curl -s http://localhost:4040/api/tunnels | python3 -c \
"import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

完成后会输出一个网址，访问网址即可

3. 别忘了开启服务

! tensorboard --logdir=./drive/MyDrive/deeplearning/tensorboard/ --port 6006