谷歌colab平台简单使用及读取自己的数据集

前言

最近在做一个项目,用自己的数据集训练一个YOLOv3的目标检测模型,但苦于自己电脑配置太低,在朋友的推荐下,选择了谷歌Colab平台,对我来说在、,真是发现了一个新天地(见识太短,勿喷,哈哈)。
本文将对colab的简单配置、使用进行介绍。

什么是Colab

Colaboratory 是一个免费的 Jupyter 笔记本环境,免费提供GPU运算服务,不需要进行任何设置就可以使用,并且完全在云端运行。可以上传训练自己的数据集。

Colab的配置

也可以说是使用Colab的前期准备。

1、谷歌云端硬盘

谷歌云盘可以是说是进行Colab的入口,因为Colaboratory平台是依赖于谷歌云盘的,创建所有代码也都是存在谷歌云盘里的,而且云盘还免费提供了15G空间。

  • 我可以首先在云盘里新建个文件夹MyColab
    在这里插入图片描述
  • 进入MyColab文件夹,新建一个Colab项目
    在这里插入图片描述
  • 创建后,我们就进入了colab界面,跟Jupyter很像的,下面就可以开始编辑代码了。
    在这里插入图片描述

2、设置环境,用GPU计算

  • “修改” ——> “笔记本设置” ——> “硬件加速器” ——> “GPU” ——> “保存”
    在这里插入图片描述
    在这里插入图片描述
  • 此时,你会看到后台是GPU提供计算
    在这里插入图片描述

运行代码

1、加载必要的包

Colab已经安装的有很多包,比如Keras、Tensorflow、PyTorch等等。

  • 运行以下代码
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

会出现下面效果,点击链接,登陆谷歌账号,将获取的验证码复制粘贴至下面那个框中,然后回车就行,注意: 要输入两次
在这里插入图片描述

2、装载Google云端硬盘

如果需要训练自己的数据集,需要这一步

  • 首先将自己的数据集上传至谷歌云盘里,比如我这里在云盘里新建一个DataSet文件夹,将数据集上传至此文件夹下。
  • 运行以下代码装载云盘,或如下图点击按钮进行装载,右侧会出现drive文件夹,。
from google.colab import drive
drive.mount('/content/drive')

在这里插入图片描述
在这里插入图片描述

3、加载云盘里的文件

  • 首先需要修改项目运行根目录,也就是切换至自己的云盘,运行下面代码后就可看到自己云盘根目录下的文件夹
%cd /content/drive/My Drive
!ls

在这里插入图片描述

  • 从云盘中读取文件和往云盘中保存文件,以读取和保存图片为例,如下
from PIL import Image
image = Image.open('DataSet/hats/JPEGImages/001141.jpg')
print(image)
image.save('DataSet/pp.jpg')

当训练和保存自己的模型时,加载数据集路径如上面那样,

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值