GPU服务器之Colab配置及使用教程

本文介绍了如何利用GoogleColab进行深度学习,包括配置GPU环境、挂载GoogleDrive以存储数据和代码,以及处理长时间运行和防止断开连接的方法。还提到了上传大文件的挑战和使用YOLO项目进行训练的过程。
摘要由CSDN通过智能技术生成

在进行深度学习过程中,不可避免需要进行炼丹的操作,而博主的电脑本身性能就很拉跨,一旦再运行其他的应用便是寸步难行,最好的办法便是再买一台,哈哈哈,当然也可以使用一些云服务器来进行,博主这里选择的是Colab,接下来便是配置环境过程。

首先科学上网打开Google Drive。Google Drive类似百度网盘,我们通过Colab跑代码时,code和dataset都可以放在Google Drive里直接调用。最方便的一点是,在复现其他研究者的工作时,如果dataset通过Google Drive链接分享,我们可以将一键转存到我们的Google Drive中,避免长时间的大文件下载和上传。下面是打开Google Drive的界面:
在这里插入图片描述

右键新建Google Colaboratory

在这里插入图片描述

  • 其实就是一个jupyter笔记本,可以直接在这里面编写和运行代码

在这里插入图片描述

关于jupyter笔记本的使用,大家可以参考博主这篇博文:
深度学习之环境配置 jupyter notebook

连接GPU与导入Google Drive

  • 修改-笔记本设置-硬件加速器

在这里插入图片描述
单击右上方“连接”,就可以自动连接到GPU(实际上在运行代码时也会自动连接)。
连接后,输入下面命令并点击代码块左侧按钮运行下面的代码,查看GPU情况:

! /opt/bin/nvidia-smi 

可以看到其分配了一个Tesla T4的服务器

在这里插入图片描述

  • 接着分别运行这两波代码,将你google drive里面的数据导入进来用于深度学习或者其它操作。
import glob
# Importing drive method from colab for accessing google drive
from google.colab import drive
# Mounting drive
# This will require authentication : Follow the steps as guided
drive.mount('/Data')

在这里插入图片描述
之后我们可以查看导入成功了吗:

!ls /Data/'My Drive'

OK了
在这里插入图片描述

  • 然后我们将文件上传到我们的谷歌云盘

在这里插入图片描述
上传成功后,我们再次打开CoLab,可以看到我们上传到云盘的文件
在这里插入图片描述
将想要运行的项目目录复制地址:如下

切换至项目路径,添加以后并不能成功引入

import os
os.chdir('/content/drive/My Drive/项目路径/项目文件夹/')

在这里插入图片描述
没有报错就是成功,然后我们的.py文件是不能直接运行的,可以以下命令运行。
执行:

`%run main.py`

在这里插入图片描述

性能还是很不错的。

在这里插入图片描述
不过就是时常会出现云盘断联情况,不太稳定,且对于较大文件,上传云盘速度太慢。不过应对简单的小demo是木的问题的。

这里博主想将YOLO项目上传到服务器上来运行。这是一个十分漫长的过程,呜呜呜。

上传了一晚上,总算是完成了,大概6个小时左右,然后接下来的配置就很简单了,首先需要切换到运行目录下:
在这里插入图片描述

import os
os.chdir('/content/drive/MyDrive/yolov7-pytorch-master/')

然后我们需要使用voc_annotation.py生成训练测试所需的配置文件,这个过程还挺慢的,反而表现不如我的电脑,大概是该处都是使用cpu进行运算的原因。完成后我们便可以开始炼丹了。注意,Colab只能分配GPU12小时,所以需要注意中间保存。
在这里插入图片描述
总体而言还是蛮不错的。都让你白嫖了,还要什么自行车。

关于长时间无操作掉线问题

想必大家发现了,通过该服务器运行时时常会出现掉线情况,这是由于我们长时间无操作造成的,而炼丹是一个漫长的过程,我们无法一直盯着,那么该如何解决呢?
首先在Colab界面打开控制台(快捷键Ctrl+Shift+I),然后复制以下代码(这段代码的功能是设置每隔60000ms也就是1min自动点击一下Colab的“连接”操作,这样就不至于长时间误操作而导致自动断开连接啦,当然这只是个例子,方法不唯一,大家也可以调整下自己的间隔时间):

function ClickConnect(){
    console.log("Working");
    document.querySelector("colab-toolbar-button#connect").click()
}
setInterval(ClickConnect, 60000)

把上面这段代码添加到下图所示的位置 ,然后敲一下回车键便可以了。

  • 0
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: Colab和Conda都是数据科学中常用的工具。 Colab是由Google提供的一种云端计算平台,可以提供免费的GPU和TPU加速。用户可以在浏览器中编写和执行Python代码,而无需在本地环境中安装和配置Python解释器及相关依赖库。此外,Colab还支持与Google Drive的无缝连接,可以轻松地读取和存储数据。使用Colab可以方便地与他人共享代码和笔记本,并且免去了本地环境配置的麻烦。 Conda是一种用于进行环境和依赖管理的开源工具。它可以创建和管理虚拟环境,使用户能够在同一台机器上同时安装和运行不同版本的Python和相关依赖包。Conda还提供了一个强大的软件包管理系统,可以方便地安装、更新和删除各种数据科学工具和库。与其他包管理器不同的是,Conda具有跨平台和跨操作系统的能力,可以很好地适应不同的开发环境。 Colab和Conda可以很好地结合使用。在Colab中,可以通过安装Conda来管理虚拟环境和依赖包。这样可以方便地创建和切换不同的环境,以适应不同的项目和需求。另外,Colab中的数据可以通过Conda安装的各种库进行处理和分析,可以更轻松地进行数据科学工作。 总而言之,Colab和Conda都是数据科学中十分实用的工具。Colab提供了便捷的云端计算环境,而Conda则为环境和依赖管理提供了强大的工具。它们的结合使用可以帮助用户更快速、高效地进行数据科学工作。 ### 回答2: Colab是Google提供的一项免费的云端计算服务,可以通过浏览器运行Python代码,并且提供了免费的GPU和TPU加速。Colab支持Conda环境,可以通过Colab来安装和管理Conda环境。 Conda是一种用于进行包管理和环境管理的工具,可以用于创建、导入、导出和分享环境。在Colab中使用Conda可以方便地安装和管理Python包及其依赖项。 要在Colab中使用Conda,首先需要安装Miniconda或Anaconda,Colab中已经预装了Miniconda。可以通过运行命令`!conda install package_name`来安装包,`!conda remove package_name`来移除包。同时,可以通过`!conda env create -f environment.yml`命令来创建Conda环境,其中`environment.yml`是一个包含环境信息的文件。 Colab中使用Conda的一个重要优势是可以充分利用Colab提供的GPU或TPU加速,尤其适用于涉及大规模数据处理和深度学习任务的项目。另外,Colab还提供了与Google Drive的集成,可以将Conda环境和代码保存到Google Drive中,方便后续的使用和共享。 总之,Colab和Conda都是非常强大的工具,能够极大地简化Python开发和环境管理的过程。通过结合使用Colab和Conda,可以提高开发效率,实现更多复杂的任务。 ### 回答3: Colab和Conda是两个常用于Python开发的工具。 Colab是Google开发的一种云端计算环境,它提供了一种交互式的方式让用户编写和运行Python代码。Colab可以在浏览器中直接使用,而无需进行任何安装或配置。它可以免费使用,并且提供了许多强大的功能,例如可以访问高性能的GPU和TPU来加速计算,可以导入和导出各种数据格式,还可以协作编辑和分享代码。Colab还集成了许多常用的Python库,方便用户进行数据分析、机器学习和深度学习等任务。 Conda是一个用于Python项目管理和环境管理的工具。它可以轻松地创建、管理和切换Python环境,并且可以安装和管理各种Python库和依赖。Conda提供了一个命令行界面,用户可以使用conda命令来管理Python环境和包。Conda还有一个重要的特点是可以跨平台使用,可以在Windows、MacOS和Linux上运行。 结合起来说,在Colab环境中使用Conda可以带来很多便利。由于Colab是基于云端的计算环境,可以充分利用云端的资源来进行计算,而Conda则可以方便地管理各种Python环境和库,因此结合使用可以使得在Colab上进行Python开发更加轻松和高效。通过使用Conda,用户可以快速创建自己想要的环境,安装所需的库,并进行开发和测试。而且,Colab中已经预装了Conda,所以用户可以直接在Colab中使用conda命令,无需安装额外的软件。总之,结合Colab和Conda可以提供一个方便、快捷和高效的Python开发环境。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彭祥.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值