我司大概有20*4万个小文件需要上传到阿里云的OSS上面,我用阿里云的OSS client API上传,速度非常的慢,总共4年的数据,每年的数据大概是20万个小文件,上传效率非常慢,大概1年的数据要两天才能传完。
后来嫌实在太慢了,翻了翻官网,发现可以用命令行上传,改用命令行之后速度一下子提升了,之前需要两天,现在只需要一个小时即可。虽然限制于网速、磁盘读取效率,但是速度已经非常可观了。
ossutil64 cp -r -j 80 文件地址 oss://Bucket/目标地址
- -j 多文件操作时的并发任务数,默认值为3,取值范围为1~10000。
这个80可以根据磁盘的读取效率、网速、CPU等情况调整。
其他的配置,下载文件包,可以访问阿里云OSS对象存储的官网查看。