Linux指令、向JupyterLab上传大数据的方法

JupyterLab

本质是一个搭载在云端的Linux系统。因此所有的Linux指令都对它适用。要运行Linux指令时,只需要打开Terminal即可。
在JupyterLab中常用指令:
cd 目录名
cd … 返回至上一级目录

查看目录中的文件有哪些 lr

lr
lr -l
修改文件夹路径mv
删除文件rm -f
删除文件夹rm -r
相关文档:
Linux常用指令汇总
Linux如何查看文件大小

OBS和EVS的区别

采用OBS,免费使用一小时,自动停止之后(或者自己停止之后)会清空所有数据(work目录下的也不例外)。下次重启的时候,之前上传过的东西就要重新上传了。
采用EVS,work目录下的所有东西都会得到保存

向JupyterLab上传数据

数据比较大

法一:在Notebook中使用SDK的一些指令。从OBS下载文件到Notebook
上传单个文件

from modelarts.session import Session
session = Session()
session.obs.download_file(src_obs_file="obs://bucket-name/dir1/file1.txt", dst_local_dir="/home/ma-user/")

上传文件夹

from modelarts.session import Session
session = Session()
session.obs.download_dir(src_obs_dir="obs://bucket-name/dir1/", dst_local_dir="/home/ma-user/")

上传文件夹时,可能会出现第一次上传不完整的情况。代码重新跑一遍即可。

法二(自己没试过,是华为工程师告诉我的):在EVS内部,使用MoXing将OBS桶中的文件导入。MoXingAPI

数据比较小

OBS的话可以上传到OBS桶里,然后同步。
EVS的话可以克隆Gitee上的,或者是直接上传本地文件。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值