ossutil上传性能调优

最新推荐文章于 2025-02-15 15:07:54 发布

xstardust

最新推荐文章于 2025-02-15 15:07:54 发布

阅读量1.6k

点赞数

文章标签：数据存储性能

本文链接：https://blog.csdn.net/xstardust/article/details/81512676

版权

本文详细介绍了ossutil在上传、下载和拷贝文件时的并发控制参数，包括--recursive、--jobs和--part-size选项，以及如何通过调整这些参数进行性能调优。在真实案例中，建议根据CPU、内存和网络资源，合理设置并发度以达到最佳性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要： 经常碰到内部同学或者外部客户问ossutil关于并发上传性能的问题。本文简单描述下ossutil并发上传原理并举例说明。用户可从这里获取ossutil。官网：https://help.aliyun.com/document_detail/50452.html代码：https://github.com/aliyun/ossutil 参数 --recursive 上传文件到oss时，如果file_url为目录，则必须指定--recursive选项，否则无需指定--recursive选项。

经常碰到内部同学或者外部客户问ossutil关于并发上传性能的问题。本文简单描述下ossutil并发上传原理并举例说明。

用户可从这里获取ossutil。

官网：https://help.aliyun.com/document_detail/50452.html
代码：https://github.com/aliyun/ossutil

参数

--recursive

上传文件到oss时，如果file_url为目录，则必须指定--recursive选项，否则无需指定--recursive选项。
从oss下载或在oss间拷贝文件时
- 如果未指定--recursive选项，则认为拷贝单个object，此时请确保src_url精确指定待拷贝的object，如果object不存在，则报错。
- 如果指定了--recursive选项，ossutil会对src_url进行prefi