【自我提升】Yolov5使用云端GPU训练模型(谷歌免费版和AutoDL收费版对比)

写在前面:继我前几篇Yolov5系列的博客后,来填一个云端训练数据的坑。我公司电脑只能使用CPU训练模型,很拉跨。我自己的笔记本虽然支持GPU,但是运行起来很卡,而且稍微设置设置大一点轮数和批次,就会报当前磁盘内存空间不足。按照网上的方法试了,然而没什么效果,硬件不好就是不好。废话不多说,正片开始!

免费版和收费版各有千秋,白嫖的限制太大了。

目录

一、谷歌免费版训练模型

二、AutoDL收费版


一、谷歌免费版训练模型

1. 准备:你需要会科技上网,俗称翻墙。随便选一个,就好了。这里不教违规方法,自己去其他地方学去。

 2. 网址:直接进入下面这个网址即可

Colab云训练服务器https://colab.research.google.com/?utm_source=scs-index

3. 操作:理论部分可以参考下别人文章,本篇博客只记录实战。

Google Colab 快速上手 - 知乎1.什么是 Google Colab? Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。 Colaboratory 笔记本存…https://zhuanlan.zhihu.com/p/386162610(1)进入首页后,点击新建笔记本

 (2)新建笔记本后,进入后的界面如下,点击左边的文件夹,右边是命令界面:

 (3)将你的yolov5的项目打包,然后上传到下面这个位置,这里我在官网下载了个yolov5-5.0版本的:

ps: 如果你对yolov5的下载不是很明白,请参考的yolov5避坑专栏。

 (4)在右边命令行界面操作:

解压你上传的文件:

!unzip /content/yolov5-7.0.zip -d /content/yolov5

 进入到解压后的yolov5-7.0目录:

%cd /content/yolov5/yolov5-7.0/

安装项目中需要的环境:

!pip install -r requirements.txt

注意:我按照时并未出现问题!如果你安装时出现找不到这个版本问题,一般有两种处理办法,一种是升级你的pip命令,最新的pip一般功能更加强大。第二种是看日志,找到具体的报错包,一般都会显示他现在有的版本,你只需要打开你的requirements.txt文件,将里面报错包的版本修改为存在的即可。参考下图:

 (5)安装好环境后,进行检测测试

!python detect.py

Look,检测运行成功

 (6)下面我们来试试训练部分

!python train.py

真不错,一如既往的顺畅,成功运行!快去把你自己的数据集搭建到上面吧~

说个坑:谷歌这个虽然白嫖很爽,但是你要是长期没操作他,就会自动退出,然后你之前上传的所有数据都会被清空的,所以你要是自己玩玩,感觉还可以,但是重要一点的话,就别了。等你回头一看,啥都没了。从头开始。

二、AutoDL收费版

1. 打开AutoDL网站,注册

AutoDL服务器https://www.autodl.com/market/list2.根据需求,购买服务,感觉这些显卡最差的都还可以。学习的话,就选个便宜的玩玩就好。自己玩玩就选择按需计费吧,按时间来计费还是可以,包周包月太贵,也没必要。

 3.选好服务器后,就进入到服务器配置界面了。镜像选择基础镜像,然后选择pytorch,版本选择在1.9以上,如下所示:

 4. 操作完上述步骤后,进入控制台,打开服务器界面

5. 他会让你进入到一个新的界面,你在这个界面打开终端:

 (1)激活conda

 (2)新开终端,将yolov5压缩包和datasets压缩包上传至服务器根目录,如下所示:

6. 解压yolov5压缩包和datasets压缩包

unzip yolov5

unzip datasets

7. 安装yolov5项目所需的环境

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

ps:和上面那个谷歌免费版一样,要是你出现了版本错误,可以去升级pip,也可以去修改requirements.txt。不过这个地方我遇到一个坑,报错日志忘记丢哪了,我就说明一下吧:

问题:如果你选择修改requirements.txt中的版本,可能安装确实不会报错了。但是和他依赖的所有包都会被pip重新下载,因为版本要进行匹配。租的服务器上的空间是有限的,所以大概率你安装到后面给你说,空间不足(space left 啥啥啥的)。所以还是升级pip吧,这样比较稳妥点。pip install --upgrade pip

8. 上述环境已经安装好了,检测步骤和训练步骤和谷歌免费版后面的步骤一模一样。不过有个坑需要注意下:谷歌的是国外的,人家服务器就在墙外,所以下载国外的东西会很快,而AutoDL是国内的,所以默认下载东西会很慢,甚至是超时。这里不对理论做过多的介绍,想了解更多,去看我的yolov5避坑专栏去。你可以去github官网将检测需要的预训练模型yolov5s.pt下载下来,然后上传到根目录下即可。

训练需要数据集,datasets和当前的yolov5-7.0同级,然后里面的coco数据集,大概率你是需要自己提前下载好上传上去,然后才可以完成训练的。不过,你后面肯定用的都是自己的数据集了,掌握好window上的训练流程,服务器上的步骤都是一样的。

总结:AutoDL虽然收费,但是确实好用一些。可以提供长久安全的训练环境,而且和谷歌一样内置了anaconda。所以不需要再去安装一些基础的东西了。不过需要注意的是:

(1)确定不用了就关机吧,一直计费还是挺贵的。

(2)创建的实例可以保存30天,你不登录就自动释放了。

(3)你租的服务器是共享的,所以下次开机的时候可能别人租着再用,这个时候是没有GPU的,但是你可以登录访问你的数据。你要是想继续训练的话,要么等人家关机,要么换个服务器继续玩。

好了,打工人今天又利用摸鱼时间肝了一篇博客,有时间再来做细致的介绍把。当时遇到的坑还是挺多的,但是开发过程中追求效率,很多错误都没怎么记,现在就大体记录下流程,希望你编程的过程能流利点,少走点坑吧,顺带吐槽下,好博客真的少,半天找不到想要的,只能翻墙出去找咯。

  • 5
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

记录菌

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值