Java使用OSS进度条方法上传文件很慢

博主介绍: 22届计科专业毕业,来自湖南,主要是在CSDN记录一些自己在Java开发过程中遇到的一些问题,欢迎大家一起讨论学习,也欢迎大家的批评指正。

前言

记录一下我自己在开发过程中使用OSS进度条方法上传文件很慢的原因以及解决方法。

正文

业务场景

现在,我有一个功能模块需要支持用户上传视频,而且视频大小是限制在500M以内,上传的过程中需要显示实时进度。前端只负责调用后端提供的上传接口,视频上传到OSS由后端处理。

实现逻辑

实现逻辑大致如下图所示,通过不断的拿取、更新redis存储的进度来做实时显示。
在这里插入图片描述

遇到的问题解析

前端上传文件非常慢,100M的文件可能都需要上传30分钟,这非常的不合理,有时候甚至还会出现504的报错。
在这里插入图片描述
最后发现问题产生的原因是:

上传文件会有一个不断回调的过程,这个回调的过程其实也就是计算上传进度并更新redis的过程,而这个回调的频率几乎是毫秒级别的,每次回调都需要去修改redis的数据,就因为这一点,导致了我上传文件到OSS的过程非常缓慢,具体为啥这会有影响上传速度我也不是很清楚,欢迎大家讨论并留言。

解决方法

其实,用户在上传文件的时候,提示的进度条可以不用那么精确,考虑到这一点,我修改了写入修改redis进度数据的频率,每过1.5s修改一次(实现方法如下图所示),最后也是可以实现实时显示进度条的效果,而且上传的速度快了非常的多,文件越大效果越明显,甚至相差几十倍。
在这里插入图片描述
在这里插入图片描述
修改后上传进度的变化:
在这里插入图片描述
原上传进度的变化:
在这里插入图片描述

在这里插入图片描述

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
你可以使用阿里云的Java SDK来实现OSS文件下载,并且通过多线程和进度条来显示下载进度。以下是一个示例代码: ``` import com.aliyun.oss.OSS; import com.aliyun.oss.event.ProgressEvent; import com.aliyun.oss.event.ProgressEventType; import com.aliyun.oss.event.ProgressListener; import com.aliyun.oss.model.GetObjectRequest; import com.aliyun.oss.model.OSSObject; import java.io.BufferedInputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class OSSDownloadWithProgress { private static final String ACCESS_KEY_ID = "<yourAccessKeyId>"; private static final String ACCESS_KEY_SECRET = "<yourAccessKeySecret>"; private static final String ENDPOINT = "<yourEndpoint>"; private static final String BUCKET_NAME = "<yourBucketName>"; private static final String OBJECT_KEY = "<yourObjectKey>"; private static final String DOWNLOAD_FILE_NAME = "<yourDownloadFileName>"; private static final int THREAD_POOL_SIZE = 5; public static void main(String[] args) { // 创建OSSClient实例 OSS ossClient = new OSSClientBuilder().build(ENDPOINT, ACCESS_KEY_ID, ACCESS_KEY_SECRET); // 创建线程池 ExecutorService executorService = Executors.newFixedThreadPool(THREAD_POOL_SIZE); // 创建GetObjectRequest对象并设置进度监听器 GetObjectRequest getObjectRequest = new GetObjectRequest(BUCKET_NAME, OBJECT_KEY); getObjectRequest.setProgressListener(new ProgressListener() { private long bytesWritten = 0; private long totalBytes = -1; private boolean succeed = false; @Override public void progressChanged(ProgressEvent progressEvent) { long bytes = progressEvent.getBytes(); ProgressEventType eventType = progressEvent.getEventType(); switch (eventType) { case TRANSFER_STARTED_EVENT: System.out.println("Start to download..."); break; case RESPONSE_CONTENT_LENGTH_EVENT: this.totalBytes = bytes; System.out.println(this.totalBytes + " bytes in total will be downloaded to a local file"); break; case RESPONSE_BYTE_TRANSFER_EVENT: this.bytesWritten += bytes; if (this.totalBytes != -1) { int percent = (int) (this.bytesWritten * 100.0 / this.totalBytes); System.out.println(bytes + " bytes have been written at this time, download progress: " + percent + "% (" + this.bytesWritten + "/" + this.totalBytes + ")"); } else { System.out.println(bytes + " bytes have been written at this time, download ratio: unknown" + "(" + this.bytesWritten + "/...)"); } break; case TRANSFER_COMPLETED_EVENT: this.succeed = true; System.out.println("Succeed to download, " + this.bytesWritten + " bytes have been transferred in total"); break; case TRANSFER_FAILED_EVENT: System.out.println("Failed to download, " + this.bytesWritten + " bytes have been transferred"); break; default: break; } } }); // 提交下载任务到线程池 executorService.submit(() -> { try { // 下载OSS文件到本地 OSSObject ossObject = ossClient.getObject(getObjectRequest); BufferedInputStream in = new BufferedInputStream(ossObject.getObjectContent()); File file = new File(DOWNLOAD_FILE_NAME); FileOutputStream out = new FileOutputStream(file); byte[] buffer = new byte[8192]; int len; while ((len = in.read(buffer)) != -1) { out.write(buffer, 0, len); } out.close(); in.close(); } catch (IOException e) { e.printStackTrace(); } finally { // 关闭OSSClient和线程池 ossClient.shutdown(); executorService.shutdown(); } }); } } ``` 在上面的代码中,我们通过创建GetObjectRequest对象并设置进度监听器来实现OSS文件的下载进度显示。然后,我们将下载任务提交到线程池中,并在下载完成后关闭OSSClient和线程池。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机灵的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值