云GPU(恒源云【不推荐】)训练的具体操作流程

简介

这篇博客主要讲一下怎么使用云服务器上的GPU跑程序,主要是一些设置和操作步骤,具体的训练步骤可以看我的另一篇博客。

以下步骤可能会有遗漏,也可能和你们有一些差别,有什么问题可以评论或者私信。

首先说一下环境,电脑操作系统是win10,云服务器平台用的是恒源云,IDE使用的Pycharm专业版(2022.1.3版,注意社区版无法使用云服务器,学生可以免费申请专业版,具体步骤CSDN上其它博客详细说明),服务器操作系统是Linux。

云平台

之前选择的是恒源云,但是发现改版越来越不好用,现在改用autodl了,价格也挺便宜,学生党认证就是会员。不过autodl的文档不如恒源云文档好用。​​​​​​​

云平台操作

选取需要使用的GPU

 上图是云市场界面,左侧可以用来筛选GPU型号,右侧为可用GPU。其分为代金券、高可用和活动,其中后两者都需要现金,本次演示使用代金券专区的来演示。

上图是点击租用后的界面,图中有具体介绍。需要注意的是,镜像相同但是GPU不同时会导致训练失败(我遇到过这个问题,不是特别清除原因,可能是镜像的问题)。

实例创建成功后,打开我的实例就可以看到如下界面,这里我就使用我以前创建好的实例来展示吧,图上已经标注了一些基础信息。接下来就是启动实例,通过实例管理按键开机,冲冲冲。

???问号脸(不搞了,没钱,到此结束)

看了一下,突然变成了只能使用真钱来支付了,再加一个缺点,其实和第一个缺点类似,变动太频繁了,一会能用代金券一会又不能用了,只能重新租用一个了。

 

好了,租用成功了,启动后界面如上所示,接下来配置pycharm。

pycharm配置

打开设置,点击python解释器,通过右侧的齿轮添加新解释器(添加服务器有两种方式,还有一种是通过菜单栏里的工具/Tools进行操作)

ssh -p 45269 root@i-2.gpushare.com  端口号是45269,用户名root,主机是i-2.gpushare.com,填上后点击确定连接。

填写密码,并记得保存密码,方便下次连接。

服务器上的python解释器我是默认设置的,远端路径修改如下。 

注意:建议手动上传项目(下文有讲),自动上传可能还要第二次修改远端路径。

选择完成后点击确定即可,接下来无脑下一步即可。

出现上图界面,即配置成功,点击应用并确定即可。

之后回到pycharm界面,会在底部右下角看见上图所示,右侧为配置的远程python解释器,左侧为服务器,需要让这两个一一对应,不对应可以修改服务器,点击即可修改为45269。

服务器设置成功后,会在后台进行更新解释器和服务器上下载的软件包,如果设置了自动上传,还会进行自动上传代码(如果数据集在项目中,也会一并上传,会导致上传时间很长,一般不建议将数据也通过此方式上传,可通过oss上传,见下文)

 如果没有设置自动上传,通过右键项目根目录手动上传文件到服务器,如上图。上传成功后,可以通过恒源云网页端点击jupyterlab查看文件。

可以看到上传的文件,因为没有数据集,所以速度很快。

到此,pycharm配置基本完成。

数据上传

 恒源云数据上传使用的是oss等多种方法,建议使用oss上传,首先下载oss到本地。

 

 下载完成后打开oss.exe,输入login进行登录,输入恒源云的账号和密码,登录成功

上传数据,注意只能上传压缩包。

 通过上图中的命令上传c盘中的DOTA数据集标注文件到oss中的DOTA文件夹,如下图。

将个人数据目录中的数据集复制到/hy-tmp目录下,通过在pycharm或者jupyterlab里的终端实现。此处为jupyterlab的终端实现,首先进行登录,然后通过命令行复制文件到hy-tmp目录,如下图。

 随后创建一个用来存放解压后文件的目录mydata,并将数据集解压到mydata文件夹下。

 到此为止,pycharm和服务器全部配置完毕,将代码修改之后并上传到服务器上,即可在pycharm中点击运行了(注意requirements.txt中的环境要求)。如果程序报错可以看我另一篇博客,可能是因为一些设置或者包没安装等问题。

YOLOv7使用云GPU训练自己的数据集https://blog.csdn.net/weixin_43764678/article/details/125863456?spm=1001.2014.3001.5501

 如果文章有错误,还请不吝赐教。

  • 12
    点赞
  • 110
    收藏
    觉得还不错? 一键收藏
  • 23
    评论
恒源是一个平台,提供了便捷的环境和资源来进行机器学习任务的训练。而PyCharm是一个常用的Python集成开发环境(IDE),可以方便地进行代码编辑、调试和管理。 要在恒源上使用PyCharm进行训练,首先需要在恒源平台上创建一个实例。在实例创建完成后,可以通过远程连接工具(如SecureCRT)连接至实例。 接下来,在实例中安装和配置PyCharm。可以通过命令行或者通过恒源控制台提供的“自定义镜像”功能,下载和安装PyCharm软件。 安装完PyCharm后,打开PyCharm界面,点击“Open”按钮选择保存训练代码的文件夹,或者创建一个新项目。 在PyCharm中,可以创建一个Python文件,编写训练代码。通过导入必要的机器学习相关库和数据预处理,来构建训练模型。可以使用PyCharm内置的调试工具来检查代码的运行状态,并对代码进行调试。 在配置好训练代码后,可以使用恒源平台提供的资源(如GPU、CPU)来运行代码进行训练。通过PyCharm的运行按钮(或快捷键),执行代码并进行训练训练过程中,可以通过PyCharm的控制台输出信息和图形界面,查看训练过程中的各项指标和图像,以及调试信息和错误提示。 训练完成后,可以保存训练模型,或者在恒源平台上下载模型和训练结果。 总结来说,使用恒源进行机器学习训练需要在恒源平台上创建实例,安装和配置PyCharm,在PyCharm中编写训练代码,通过PyCharm的调试工具调试代码,使用恒源的资源进行训练,最后保存训练模型和结果。这样就能很方便地在恒源上使用PyCharm进行训练

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 23
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值