python断点下载_断点续传下载_下载文件_Python_SDK 示例_对象存储 OSS - 阿里云

当下载大文件时,如果网络不稳定或者程序异常退出,会导致下载失败,甚至重试多次仍无法完成下载。为此OSS提供了断点续传下载功能。

断点续传下载的流程如下:

在本地创建一个临时文件,文件名由原文件名加上一个随机的后缀组成。

通过指定HTTP请求的Range头,按照范围读取OSS文件,并写入到临时文件里相应的位置。

下载完成之后,把临时文件重命名为目标文件。如目标文件已存在会覆盖,不存在则新建。

您可以通过oss2.resumable_download方法断点续传下载,该方法中包含以下参数:

参数

描述

是否必需

默认值

bucket

存储空间名称。

key

OSS文件名称。

filename

本地文件。OSS文件将下载到该文件中。

store

记录本地分片下载结果的文件。下载过程中,断点信息会保存在此文件中,如果下载中断了,再次下载时会根据文件中记录的点继续下载。

HOME目录下建立的.py-oss-download目录。

multipart_threshold

文件长度大于该值时,则使用断点续传下载。

10MB

part_size

分片大小。

自动计算

progress_callback

下载进度回调函数。

num_threads

并发下载的线程数。

1

以下代码用于断点续传下载:

# -*- coding: utf-8 -*-

import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录 https://ram.console.aliyun.com 创建RAM账号。

auth = oss2.Auth('', '')

# Endpoint以杭州为例,其它Region请按实际情况填写。

bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '')

oss2.resumable_download(bucket, '', '')

Python SDK 2.1.0以上版本支持设置可选参数进行断点续传下载,代码如下:

# -*- coding: utf-8 -*-

import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录 https://ram.console.aliyun.com 创建RAM账号。

auth = oss2.Auth('', '')

# Endpoint以杭州为例,其它Region请按实际情况填写。

bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '')

# 请将oss2.defaults.connection_pool_size设成大于或等于线程数,并将part_size参数设成大于或等于oss2.defaults.multiget_part_size。

oss2.resumable_download(bucket, '', '',

store=oss2.ResumableDownloadStore(root='/tmp'),

multiget_threshold=20*1024*1024,

part_size=10*1024*1024,

num_threads=3)

说明 避免多个程序(线程)同时调用该方法下载同一个源文件到同一个目标文件中。因为断点信息会在本地磁盘上互相覆盖,且临时文件名可能会冲突。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值