恒源云使用

目录

一、OSS的使用 

1、oss本地上传到服务器

2、oss服务器登录下载到服务器

3、oss服务器上下载到本地

二、解压缩

三、训练

四、训练结束自动关机、上传数据

五、查看实例储存空间

六、文件管理

七、所需的库

八、网盘数据上传下载

1)下载命令工具

2)使用方法

3)下载和上传阿里云盘示例

4)下载和上传百度云盘示例

九、其他


恒源云_GPUSHARE_点我注册

一、OSS的使用 

首先先下载OSS工具:点击下载

注意:以下命令的使用需要在OSS.exe文件的目录下进入命令窗口执行。 

1、oss本地上传到服务器

# 登陆恒源云账号,使用恒源云的账号名与密码,账号名为手机号
# 如果是非中国大陆手机号码,需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!

#在个人数据中创建文件夹
~# oss mkdir oss://datasets
Create folder [oss://] successfully, request id [0000017E0091FBEC9012CBB9E0EBBCE1]
Create folder [oss://datasets/] successfully, request id [0000017E0091FC1D9012CC094BBD9AF3]

#将本地电脑的 "个人数据.zip" 上传至平台个人数据中的 `datasets` 文件夹下
~# oss cp 个人数据.zip oss://datasets/

#查看我上传的 个人数据.zip
~# oss ls -s -d oss://datasets/
Listing objects .
Folder list:
oss://datasets/
Object list:
oss://datasets/个人数据.zip
Folder number is: 1
File number is: 1

2、oss服务器登录下载到服务器

下载数据 在服务器上操作

# 登陆恒源云账号,使用恒源云的账号名与密码,账号名为手机号
# 如果是非中国大陆手机号码,需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!

#查看个人数据中的datasets目录
 # oss ls -s -d oss://datasets/
Listing objects .
Folder list:
oss://datasets/
Object list:
oss://datasets/个人数据.zip
Folder number is: 1
File number is: 1

#下载个人数据到/hy-tmp/目录下
~# oss cp oss://datasets/data.zip /hy-tmp/

#查看已下载到/hy-tmp/目录中的数据
~# ls /hy-tmp/

# 使用 unzip 解压 .zip 文件到当前目录
~# unzip -q data.zip

3、oss服务器上下载到本地

# 登陆恒源云账号,使用恒源云的账号名与密码,账号名为手机号
# 如果是非中国大陆手机号码,需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!

# 查看文件和文件夹,-s 表示只显示文件名
~# oss ls -s oss://
Folder list:
oss://
oss://backup/

Object list:
oss://backup/result-20211018-164323.zip

# 下载个人数据中的 result-20211018-164323.zip 文件到当前目录(注意后面的" ." )
~# oss cp oss://backup/result-20211018-164323.zip .
Download successfully, 310B, n/a, oss://backup/result-20211018-164323.zip --> /root/result-20211018-164323.zip, cost [57], status [200], request id [0000017C92929EF49014BE16738685B7]

二、解压缩

# 解压 .tar.gz 文件到当前目录
~# tar -xf compress.tar.gz

# 解压 .tar.gz 文件到 /hy-nas 目录
~# tar -C /hy-nas -xf compress.tar.gz

# 将文件和文件夹压缩成 .tar.gz 文件
~# tar -zcf compress.tar.gz file directory


# 解压 zip 或 rar 推荐使用 7z 命令,使用 apt 安装
~# apt-get update
~# apt-get install p7zip-full -y

# 使用 unzip 解压 .zip 文件到当前目录
~# unzip -q compress.zip

# 如果 zip 超过 1GB 推荐使用 7z 命令解压,-o 后直接加解压缩路径
~# 7z x compress.zip -o/hy-nas

# 将文件和文件夹压缩成 .zip 文件
~# zip -q -r compress.zip file directory

# 解压 .rar 文件到当前目录
~# 7z x compress.rar

三、训练

加入 > log/output_patch.txt 2>&1 可以实现日志输出

python 01_train_patch.py > log/output_patch.txt 2>&1

四、训练结束自动关机、上传数据

在 /root 目录下使用 vim 创建一个 upload.sh 脚本。(或者vim upload.sh创建脚本。输入脚本内容,使用 vim 编辑器,输入 进入插入模式,粘贴下来整个脚本内容,再按 Esc 退出 ,最后输入:wq Enter 保存退出。)注意:第一行必须是 #!/bin/bash

touch upload.sh

复制以下内容到 .sh 文件中

#!/bin/bash
set -e

cd /hy-tmp
# 压缩包名称
file="result-$(date "+%Y%m%d-%H%M%S").zip"
# 把 result 目录做成 zip 压缩包
zip -q -r "${file}" result
# 通过 oss 上传到个人数据中的 backup 文件夹中
oss cp "${file}" oss://backup/
rm -f "${file}"

# 传输成功后关机
shutdown

.sh 脚本添加执行权限

chmod u+x upload.sh

此脚本实现了将 /hy-tmp/result 做成 zip 压缩包,再将此文件上传到了个人数据中。执行成功后执行关机操作。

在训练的任务代码中的最后调用此 /root/upload.sh 脚本运行即可,首次使用时建议先进行测试一下。如在 Python 代码中引用:

import os
os.system('/root/upload.sh')
首先将upload.sh文件放入 root下
之后执行

chmod u+x upload.sh

给脚本添加执行权限。(设置权限后,后面就不用再次给权限了,就算关机重启也一样)
最后在训练的任务代码中的最后调用此 /root/upload.sh 脚本运行即可,首次使用时建议先进行测试一下。如在 Python 代码中引用:
import os
os.system('/root/upload.sh')

cd .. # 返回上一层目录

五、查看实例储存空间

#查看实例自身空间的总空间、已用空间、可用空间
df -hT | grep -w / | awk '{print "实例总空间: "$3, "\n实例已用空间: "$4, "\n实例可用空间: "$5}'

#返回结果
实例总空间: 20G
实例已用空间: 45M
实例可用空间: 20G

六、文件管理

ls                                  #显示当前目录所有文件
ls /hy-tmp/                         #显示/hy-tmp/目录所有文件
cd /hy-tmp/                         #进入指定的/hy-tmp/目录
cd /root/                           #进入 /root 目录
cd /                                #进入 / 目录
mkdir /hy-tmp/datafile              #在/hy-tmp/下创建data目录
mkdir /root/data                    #在/root/目录下创建data目录
mkdir data                          #在当前目录创建data目录
touch datafile                      #在当前目录下创建datafile文件
touch /hy-tmp/datafile              #在/hy-tmp/目录下创建datafile文件
mv datafile /hy-tmp/                #移动当前目录中的datafile文件到/hy-tmp/目录中 
mv /root/datafile /hy-tmp/          #移动/root/datafile文件到/hy-tmp/目录中
mv /hy-tmp/datafile ./              #移动/hy-tmp/datafile文件到当前目录
cat /hy-tmp/datafile                #查看/hy-tmp/datafile文件内容
cp /hy-tmp/datafile ./              #复制/hy-tmp/datafile文件到当前目录
cp /hy-tmp/datafile /root/          #复制/hy-tmp/datafile文件到/root/目录
rm /hy-tmp/datafile                 #删除/hy-tmp/datafile目录中的文件
rm -f /hy-tmp/data                  #删除/hy-tmp/data目录 
ps -ef                              #查看当前实例中所运行的所有进程
ps -ef | grep python                #查看丹铅实例中所运行的python进程
vim /hy-tmp/datafile                #编辑/hy-tmp/datafile文件

七、所需的库

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchsummary
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple einops

八、网盘数据上传下载

1)下载命令工具

登录实例后执行如下命令进行下载gpushare-cli命令工具

curl -L https://download.gpushare.com/download/gpushare-cli-linux -o /usr/local/bin/gpushare-cli
chmod u+x /usr/local/bin/gpushare-cli

#执行gpushare-cli version命令验证是否安装成功
gpushare-cli version
v1.0.11

2)使用方法

#gpushare-cli --help 命令可参考命令使用方法
gpushare-cli --help
恒源云网盘工具,目前支持百度云盘,阿里云盘。
请在官网授权对应网盘后,用恒源云账号登录使用。

Usage:
  gpushare-cli [flags]
  gpushare-cli [command]

Examples:
  gpushare-cli login -u=<username> -p=<password>

Available Commands:
  ali          阿里云盘
  baidu        百度云盘
  help         帮助
  login        登录
  version      版本

Flags:
  -h, --help   帮助

3)下载和上传阿里云盘示例

1、下载阿里云盘数据到实例

  • 通过gpushare-cli命令工具登录平台;所使用的账号密码为恒源云控制台的账号密码,通过-u参数指定账号,-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
  •  查看阿里云盘中文件
#展开阿里云盘中的所有文件,如下/dataset目录为是阿里云盘中的文件目录
~ gpushare-cli ali ls
加载中...
+------------------+------+--------+
|  Path            |  ID  |  Size  |
+------------------+------+--------+
|  /dataset        |      |        |
+------------------+------+--------+

#展开阿里云盘中指定目录的所有文件
~ gpushare-cli ali ls /dataset
# Path列中展示/dataset目录下的文件
# ID列中展示该文件对应的ID
# Size列中展示该文件的大小
加载中...
+------------------------+--------------------------------------------+-----------+
|  Path                  |  ID                                        |  Size     |
+------------------------+--------------------------------------------+-----------+
|  /dataset/calib.zip    | 6273f13cba015b49ef5b4f968b954a4e939f61e5   | 1.631MB   |
+------------------------+--------------------------------------------+-----------+
  • 下载阿里云盘中的文件
#下载指令使用down,下载可以使用两种方式
#1. 指定网盘中的文件路径进行下载
#2. 指定网盘中的文件ID进行下载(如果文件名称有空格、特殊符号等字符,建议使用文件ID进行下载)

#指定网盘文件路径下载阿里云盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli ali down /dataset/calib.zip /hy-tmp/
检查本地路径...
检查网盘路径...
开始下载...
 1.56 MiB / 1.56 MiB [===================================] 100.00% 4.16 MiB/s 0s
下载完成: /hy-tmp/calib.zip.1652105813


#指定网盘文件ID下载阿里云盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli ali down 6273f13cba015b49ef5b4f968b954a4e939f61e5 /hy-tmp/
检查本地路径...
检查网盘路径...
开始下载...
 1.56 MiB / 1.56 MiB [===================================] 100.00% 4.31 MiB/s 0s
下载完成: /hy-tmp/calib.zip.1652105848
  • 查看下载到/hy-tmp/目录中的文件并解压
~ cd /hy-tmp/
~ ls
calib.zip
~ unzip calib.zip

2、上传实例数据到阿里云盘 

  • 通过gpushare-cli命令工具登录平台;所使用的账号密码为恒源云控制台的账号密码,通过-u参数指定账号,-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
  • 上传实例中/hy-tmp/dataset/train.zip文件到阿里云盘中的/dataset/目录中(要确保阿里云盘中存在dataset目录)。
#上传指令使用up
#注意:上传数据实例中的文件必须要写绝对路径,也就是需要从 / 开始写路径,不能使用相对路径,例如 ./train.zip 或 ../train.zip。

~ gpushare-cli ali up /hy-tmp/dataset/train.zip /dataset/
计算文件大小...
上传中...
[==================================================] 100%         1/1
上传完成: train.zip
  • 查看阿里云盘中的文件验证是否上传成功
#展开阿里云盘中的所有文件
~ gpushare-cli ali ls
/dataset        #/dataset目录为是阿里云盘中的文件目录

#展开阿里云盘中指定目录的所有文件来验证是否上传成功,也可以通过阿里云盘客户端登录查看。
~ gpushare-cli ali ls /dataset
#返回如下三个文件为阿里云盘中/dataset/目录中的文件,其中train.zip为刚上传的文件
1061409882677800 -> data_scene_flow_calib.zip
864542844022467 -> calib.zip
827945728239665 -> train.zip

4)下载和上传百度云盘示例

1、下载百度网盘数据到实例

  • 通过gpushare-cli命令工具登录平台;所使用的账号密码为恒源云控制台的账号密码,通过-u参数指定账号,-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
  • 查看百度网盘中文件
#展开百度网盘中的所有文件,如下/dataset目录为是百度网盘中的文件目录
~ gpushare-cli baidu ls 
加载中...
+------------------+------+--------+
|  Path            |  ID  |  Size  |
+------------------+------+--------+
|  /dataset        |      |        |
+------------------+------+--------+

#展开百度网盘中指定目录的所有文件
~ gpushare-cli baidu ls /dataset
# Path列中展示/dataset目录下的文件
# ID列中展示该文件对应的ID
# Size列中展示该文件的大小
加载中...
+---------------------------------------+--------------------+-----------+
|  Path                                 |  ID                |  Size     |
+---------------------------------------+--------------------+-----------+
|  /dataset/data_scene_flow_calib.zip   | 1061409882677800   | 1.631MB   |
|  /dataset/calib.zip                   | 438325381265667    | 1.631MB   |
+---------------------------------------+--------------------+-----------+
  • 下载百度网盘中的文件
#下载指令使用down,下载可以使用两种方式
#1. 指定网盘中的文件路径进行下载
#2. 指定网盘中的文件ID进行下载(如果文件名称有空格、特殊符号等字符,建议使用文件ID进行下载)

#指定网盘文件路径下载百度网盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli baidu down /dataset/calib.zip /hy-tmp/
检查网盘路径...
检查本地路径...
开始下载...
 1.56 MiB / 1.56 MiB [===================================] 100.00% 1.90 MiB/s 0s
下载完成: /hy-tmp/calib.zip

#指定网盘文件ID下载百度网盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli baidu down 438325381265667 /hy-tmp/
检查网盘路径...
检查本地路径...
开始下载...
 1.56 MiB / 1.56 MiB [=================================] 100.00% 380.45 KiB/s 4s
下载完成: /hy-tmp/calib.zip
  • 查看下载到/hy-tmp/目录中的文件并解压
~ cd /hy-tmp/
~ ls 
calib.zip
~ unzip calib.zip 

2、上传实例数据到百度网盘

  • 通过gpushare-cli命令工具登录平台;所使用的账号密码为恒源云控制台的账号密码,通过-u参数指定账号,-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
  • 上传实例中/hy-tmp/dataset/train.zip文件到百度网盘中的/dataset/目录中(要确保百度网盘中存在dataset目录)。
#上传指令使用up
#注意:上传数据实例中的文件必须要写绝对路径,也就是需要从 / 开始写路径,不能使用相对路径,例如 ./train.zip 或 ../train.zip。

~ gpushare-cli baidu up /hy-tmp/dataset/train.zip /dataset/
计算文件大小...
上传中...
[==================================================] 100%         1/1
上传完成: train.zip
  • 查看百度网盘中的文件验证是否上传成功
#展开百度网盘中的所有文件
~ gpushare-cli baidu ls
/dataset        #/dataset目录为是百度网盘中的文件目录

#展开百度网盘中指定目录的所有文件来验证是否上传成功,也可以通过百度网盘客户端登录查看。
~ gpushare-cli baidu ls /dataset
#返回如下三个文件为百度网盘中/dataset/目录中的文件,其中train.zip为刚上传的文件
1061409882677800 -> data_scene_flow_calib.zip
864542844022467 -> calib.zip
827945728239665 -> train.zip

九、其他

免费硬盘储存空间是在 /hy-tmp 中。/root 是服务器的系统储存空间。

  • 0
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
恒源是一个平台,提供了便捷的环境和资源来进行机器学习任务的训练。而PyCharm是一个常用的Python集成开发环境(IDE),可以方便地进行代码编辑、调试和管理。 要在恒源使用PyCharm进行训练,首先需要在恒源平台上创建一个实例。在实例创建完成后,可以通过远程连接工具(如SecureCRT)连接至实例。 接下来,在实例中安装和配置PyCharm。可以通过命令行或者通过恒源控制台提供的“自定义镜像”功能,下载和安装PyCharm软件。 安装完PyCharm后,打开PyCharm界面,点击“Open”按钮选择保存训练代码的文件夹,或者创建一个新项目。 在PyCharm中,可以创建一个Python文件,编写训练代码。通过导入必要的机器学习相关库和数据预处理,来构建训练模型。可以使用PyCharm内置的调试工具来检查代码的运行状态,并对代码进行调试。 在配置好训练代码后,可以使用恒源平台提供的资源(如GPU、CPU)来运行代码进行训练。通过PyCharm的运行按钮(或快捷键),执行代码并进行训练。 训练过程中,可以通过PyCharm的控制台输出信息和图形界面,查看训练过程中的各项指标和图像,以及调试信息和错误提示。 训练完成后,可以保存训练模型,或者在恒源平台上下载模型和训练结果。 总结来说,使用恒源进行机器学习训练需要在恒源平台上创建实例,安装和配置PyCharm,在PyCharm中编写训练代码,通过PyCharm的调试工具调试代码,使用恒源的资源进行训练,最后保存训练模型和结果。这样就能很方便地在恒源使用PyCharm进行训练。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清纯世纪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值