【最佳实践】OSS开源工具ossutil-大文件断点续传

最新推荐文章于 2022-04-25 15:48:25 发布

weixin_34239169

最新推荐文章于 2022-04-25 15:48:25 发布

阅读量654

点赞数

文章标签： php javascript java ViewUI

原文链接：https://my.oschina.net/u/3611008/blog/2252871

版权

2019独角兽企业重金招聘Python工程师标准>>>

经常碰到内部同学或者外部客户问ossutil关于大文件断点续传的问题。本文简单描述下原理并举例说明。

用户可从这里获取ossutil。

官网：https://help.aliyun.com/document_detail/50452.html
代码：https://github.com/aliyun/ossutil

OSS断点续传

应用场景

当调用OSS的PutObject来上传较大的文件时，如果上传过程中出现错误，比如网络错误，那么此次上传失败。重试时必须从文件起始位置上传。

针对这种情况，OSS提供了分片上传（Multipart Upload）来达到断点续传的效果。分片上传就是将要上传的文件分成多个数据块（OSS里又称之为Part）来分别上传，上传完成之后再调用OSS的接口将这些Part组合成一个Object。

因此，OSS断点续传适用于以下场合。

恶劣的网络环境：如手机端，当出现上传失败的时候，可以对失败的Part进行独立的重试，而不需要重新上传其他的Part。
断点续传：中途暂停之后，可以从上次上传完成的Part的位置继续上传。

详细信息，请参考https://help.aliyun.com/document_detail/31850.html。

实现原理

在分片上传的过程中，已经上传的Part的生命周期是永久的，因此很容易可以实现断点续传的功能。

转载于:https://my.oschina.net/u/3611008/blog/2252871

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34239169

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

ossutil覆盖_查看选项_命令行工具ossutil_常用工具_对象存储 OSS - 阿里云

weixin_29144347的博客

12-29

1728

-s， --short-format显示精简格式，如果未指定该选项，默认显示长格式。--bigfile-threshold开启大文件断点续传的文件大小阈值，单位为Byte，默认值：100MByte，取值范围：0~9223372036854775807。--acl配置ACL信息。--range下载文件时，可以指定文件内容的字节范围进行下载，字节从0开始编号。可以指定一个区间，例如3-9表示从第3个字...

React实现阿里云OSS上传文件的示例

11-19

简介阿里云 OSS 是阿里云提供的海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性（号称）。能够使用 RESTful API 可以在互联网任何位置存储和访问，支持容量和处理能力弹性扩展。基本术语 1.bucket ：类似本地的一个文件夹 2.object ： oss 存储数据的基本单元，类似本地的一个文件。 3.region：oss 存储的数据中心所在区域 4.Endpoint：oss 对外服务的访问域名，oss 以 http api 提供服务，不同 region 的 edpoint 不同。 5.AccessKey：访问秘钥，简称 AK,包括 Acc

参与评论您还未登录，请先登录后发表或查看评论

oss 断点续传 php,阿里oss断点续传(vue组件)

weixin_42579969的博客

03-28

439

import OSS from 'ali-oss'import SparkMD5 from 'spark-md5' // 依赖库，对文件进行md5加密唯一标识import VProgress from './Progress' // 一个简单的进度条组件// localstorage缓存上传进度指针，失败后可再次上传const pointerCache = {get(file, name) {co...

vue+oss前端直传oss 纯前端实现文件上传、下载、暂停上传(含demo)

weixin_42849516的博客

04-23

2854

let OSS = require('ali-oss'); let client = new OSS({ region: '配置自己的', //云账号AccessKey有所有API访问权限，建议遵循阿里云安全最佳实践，部署在服务端使用RAM子账号或STS，部署在客户端使用STS。 accessKeyId: '配置自己的', accessKeySecret: '配置自己的', bucket: '配置自己的' }) 注：以上是配置OSS 文件上传api接口: const put..

ossutil发布1.4.2版本，支持上传或复制文件目录指定存储类型，支持访问请求者付费模式的Bucket...

weixin_33938733的博客

11-19

657

ossutil 1.4.2 Release Note lscp命令：支持访问开启“请求者付费模式”的Bucket cp命令：上传、复制文件或目录时，支持设置存储类型 cp命令：上传下载时，显示传输速度 cp命令：Window版本支持断点续传（Linux、Mac版本已经支持） ossutil 最新版本下载和使用说明，请参考ossutil帮助文档使用o...

【最佳实践】OSS开源工具ossutil-增量上传

weixin_33849942的博客

06-12

1749

经常碰到内部同学或者外部客户问ossutil关于增量上传的问题。本文简单描述下原理并举例说明。用户可从这里获取ossutil。官网：https://help.aliyun.com/document_detail/50452.html代码：https://github.com/aliyun/ossutil 应用场景场景一某用户有一批文件（比如100...

Electron中实现大文件上传和断点续传功能

01-19

从官网的描述我们可以简单的概括，Electron是开源的框架，可以使用h5来开发跨平台pc桌面应用，这样前端开发这可以开发桌面应用了。由于它是基于Chromium和Node.js开发的，所以在Electron中既可以使用浏览器中的api也...

oss下载（断点续传，后台显示进度）源代码.rar

03-10

5. **文件分块处理**：对于大文件，断点续传通常会将文件分成多个块进行下载，每个块可以单独进行断点续传。在阿里云OSS中，这可能涉及到Multipart Upload的概念，虽然这里可能是下载，但原理类似。 6. **错误处理...

阿里云OSS文件上传下载查询工具类-AliyunOSSUtil.java

最新发布

10-30

使用阿里云OSS对象存储服务，根据SDK编写文件上传、下载、查询、删除、获取文件链接、创建文件夹等方法的工具类Util，该工具类已在正式应用环境中经受考验，其中有示例demo使用方法教程，方法有注解,帮助使用者更好...

云服务器大文件拉取（oss+axel）

qq_42063179的博客

03-14

1258

背景：在部署很多新项目服务的时候，我们常常需要用到国外的一些资源。因此只能通过阿里云这些云服务器去做数据处理。然而，处理完以后的数据文件回传到我们自己本地的时候却是一个问题。单纯用scp命令去做传输会发现速度非常的慢，因此，在多次尝试之后我摸索出了本次解决方案前提：阿里云服务器ECS+OSS存储步骤： 1.准备oss存储（阿里云oss），注意和ECS在同一个区域内 2.创建完Bucket以后打开“概览”查看对应的Endpoint 3.查看自己阿里云账号的的AccessKey 4.

OSS大文件上传—断点续传

u010707194的博客

04-25

3208

1.前端断点续传 前端记录断点，将断点生成跟上传文件同名的.json文件，保存到oss中。当再次上传时，先访问oss获取.json文件，将断点信息传给oss，上传成功后删除.json文件。 2.后端断点续传 后端上传会在上传文件地址的同路径下创建一个同名的.ucp文件，当再次上传时，读取.ucp文件断点，进行断点续传，上传成功会自动删除.ucp文件。 3. 后端OSS数据存储 1）需要一个文件记录表，文件记录表删除已经保存的文件记录，OSS删除相同记录的过时文件。 2）查询数据库数据总

java实现oss断点续传

ccakcc的专栏

03-13

3574

bucketName ---oss上bucket的名字 key ---文件所在的文件夹加文件名例如：我想把ceshi.txt 存放在bucket叫aa的里面叫bb的文件夹下。那么我的bucketName传的值就是 aa，key值是bb/ceshi.txt public String multipartUploadObject(String bucketName, String key,

阿里云oss文件下载不能断点续传问题

lsg_lsg_lsg的博客

04-11

3400

1.断点续传通常是在有文件时，在请求头加上“Range”,"bytes=start-end",很多开源下载框架，都是这样定义的2.阿里云需要传“Range”,"bytes=start-"，才可以，不然返回的长度始终是一样的。...

下载OSS文件到本地(可以断点续传)

maonian1762的博客

05-15

5440

import java.io.File; import java.io.IOException; import java.io.InputStream; import java.util.Properties; import org.springframework.stereotype.Component; import com.aliyun.oss.OSSClient; import com.aliyun.oss.model.DownloadFileRequest; import com.aliyun..

web直传OSS(断点续传)

jarisMA的博客

12-28

1962

web直传OSS(断点续传) 不多说，直接上代码 &amp;amp;lt;input type=&amp;quot;file&amp;quot; id=&amp;quot;file&amp;quot; /&amp;amp;gt; &amp;amp;lt;script src=&amp;quot;http://gosspublic.alicdn.com/aliyun-oss

web直传oss之大文件上传，切片上传，断点续传

死亡循环

11-13

2766

本人菜鸟一个，大神轻喷。。。偶感瓶颈与今日起开始记录平时项目中的难题以及平时的心得。最近项目中刚好有让前端单独直接接入阿里的SDK实现web直传oss的功能。废话不多说直接官方文档看一下，弥补一下我的未知世界，发现文档还是比较好理解的。这里贴下官网的代码片段 https://help.aliyun.com/document_detail/64047.html?spm=a2c...

java oss 断点上传文件_java实现oss断点续传

weixin_42342226的博客

03-04

726

bucketName ---oss上bucket的名字key ---文件所在的文件夹加文件名例如：我想把ceshi.txt 存放在bucket叫aa的里面叫bb的文件夹下。那么我的bucketName传的值就是 aa，key值是bb/ceshi.txtpublic String multipartUploadObject(String bucketName, String key,File par...

OSS传输工具OSSutil使用介绍

06-13

OSSutil是阿里云OSS团队开发的一款命令行工具，用于在本地系统和OSS之间上传、下载、复制、删除以及管理对象等操作。下面是OSSutil的使用介绍： 1. 安装OSSutil：OSSutil支持Windows、Linux、macOS等操作系统，可以在官网下载相应的安装包进行安装。 2. 配置OSSutil：安装完成后，需要进行配置。在终端中输入以下命令进行配置： ``` ossutil config ``` 然后按照提示输入阿里云AccessKey ID和AccessKey Secret等信息即可完成配置。 3. 使用OSSutil进行操作：OSSutil支持多种命令，以下是常用的几个命令： - 上传文件到OSS：将本地文件上传到OSS中，命令如下： ``` ossutil cp local_file oss://bucket/object ``` - 下载文件到本地：将OSS中的文件下载到本地，命令如下： ``` ossutil cp oss://bucket/object local_file ``` - 复制文件到OSS：将OSS中的文件复制到其他的OSS存储空间中，命令如下： ``` ossutil cp oss://src_bucket/src_object oss://dest_bucket/dest_object ``` - 删除OSS中的文件：删除OSS中指定的文件，命令如下： ``` ossutil rm oss://bucket/object ``` - 管理OSS中的对象：列出OSS中的所有对象，命令如下： ``` ossutil ls oss://bucket ``` 以上是OSSutil的使用介绍，更多命令详见官方文档。