谷歌colab的配置

我们可以使用google colab进行深度学习的训练,配置过程如下:

  1. 注册谷歌网盘账号(https://drive.google.com)

  2. https://colab.research.google.com/
    打开colab(类似于jupyter notebook)

  3. 通过
    https://www.jianshu.com/p/ce2e63d1c10c
    链接中的方式进行授权,具体过程:

    i 首先输入:!ls,得到如下结果:

ii 将下面的命令拷贝过去运行授权,两次输入验证密码:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools

!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null

!apt-get update -qq 2>&1 > /dev/null

!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth

auth.authenticate_user()

from oauth2client.client import GoogleCredentials

creds = GoogleCredentials.get_application_default()

import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL

vcode = getpass.getpass()

!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

得到如下图的结果:

 iii 在命令行输入如下代码:在网盘建立文件夹(没报错说明成功了)

!mkdir -p drive

!google-drive-ocamlfuse drive

 iv 将要训练的数据集和代码放入同一个文件夹传到网盘,放入Colab Notebooks文件夹下。

 v 输入如下命令切换路径:(没报错说明成功了)

import os

os.chdir(“drive/Colab Notebooks/tfrecords”)

 vi 再次!ls发现切换到自己的目录下了

 vii 将python代码copy到notebook中运行就可以了

问题:在传文件时发现只有90多个tfrecord

分析:正常来说应该至少1000多个tfrecord,分析为些代码时将很多文件重名冲掉了,经过检查果然,于是,我在生生的tfrecord前都加上了标签名字。但是,似乎并没有解决根本问题,我选了两个分类中正常样本进行分类,发现准确率和loss还是不理想,还是打算扩大batchsize试试。

几条linux命令:

压缩/解压缩:zip
-r x.zip dirname unzip x.zip

统计文件夹下的文件数目:ls -l |grep
“^-”|wc -l 文件的个数

ls -l |grep “^d”|wc -l 目录的个数

ls -lR|grep “^-”|wc -l 文件的个数,包括子文件

参考链接:https://www.cnblogs.com/zhilu-doc/p/6081193.html

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值