使用命令行将文件上传到阿里云OSS

我司大概有20*4万个小文件需要上传到阿里云的OSS上面,我用阿里云的OSS client API上传,速度非常的慢,总共4年的数据,每年的数据大概是20万个小文件,上传效率非常慢,大概1年的数据要两天才能传完。

后来嫌实在太慢了,翻了翻官网,发现可以用命令行上传,改用命令行之后速度一下子提升了,之前需要两天,现在只需要一个小时即可。虽然限制于网速、磁盘读取效率,但是速度已经非常可观了。

ossutil64 cp -r -j 80  文件地址  oss://Bucket/目标地址
  • -j 多文件操作时的并发任务数,默认值为3,取值范围为1~10000。

这个80可以根据磁盘的读取效率、网速、CPU等情况调整。

其他的配置,下载文件包,可以访问阿里云OSS对象存储的官网查看。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值