android文件上传优化分享（切片上传），膜拜

我重点看的是切片上传的原理。

原文链接：https://www.jianshu.com/p/b4c453649d92

========================================================

主题

记录安卓端上传模块优化的经历。通过本次分享，咱们可以知道

1. 一个文件经历了几个步骤才能从手机上传到服务端

2. 能知道媒体文件压缩的原理

整个优化经历了两个阶段

1. 第一阶段是上传模块重构，并且通过UI和数据的分离，提升了扩展性，逐步被运用到产品的各个模块中

2. 第二阶段是上传尺寸的优化，通过对视频文件的压缩，大幅减少用户的上传等待时间。

chapter 1.上传框架重构

================

评估现有模块表现

1. 使用中低配置手机运行apk，查看上传模块实际表现

2. 使用Charles抓包工具，观察每个上传文件体积是否被压缩到合理范围、对上传模块发送的http请求按照功能对其分类，检查是否可以合并同类请求

3. 退出上传，查看上传后续步骤是否被停止；大文件重新上传是否跳过已上传的数据块

4. 查看上传后的结果是否正常播放、是否失真、音频异常

上传模块现存问题

• UI和上传代码耦合在一起，难以拓展维护

• 停止上传后仍然继续上传，说明流程控制有问题

• 在上传时，对每个文件会进行尺寸压缩、计算md5值，比较费时

• 每个文件上传前都会发送一次存在校验（根据文件md5值），导致在上传的场景中会发送多次http请求校验文件存在

• 视频文件没有做压缩，导致上传费时

整体设计思路

上传设计思路.png

1. 数据UI分离：使用观察模式，抽离UI部分代码。使用弱引用设置观察者，避免生命周期不一致引起的内存泄漏。

2. 费时操作前置：在选择图片的步骤，开启异步线程压缩图片、计算md5，将费时操作提前处理掉_（此步骤在mx4 pro上处理拍照的图片耗时100~200ms，基本上选择图片后就已经完成好了计算）_

3. 将文件上传成功的md5值保存在内存中，避免重复处理。

4. 分次请求合并：向服务端开发者申请批校验的接口，将多个文件存在的http请求被合并成一个。

优化后 逻辑UML

上传步骤.png

文件切片

文件切片将一个大文件切成若干小文件进行上传，在上传失败的情况下，可以跳过已上传的小文件。

切片代码底层使用JDK的RandomAccessFile对文件提供数据读取

经测试，上传的瓶颈在于上行带宽，所以切片、上传时单线程任务，不会出现10个切片一起上传的情况。

切片目前设定为10MB一片，上传时，把当前的块的数据读取到内存中进行上传

切片步骤

1. 对文件md5计算，向服务端校验文件是否已存在，是则提前结束

2. 对文件进行切片，计算每片的md5值用于校验是否已上传。比如38mb的视频，限定每片最大10mb，切出4片，最后一片8mb，其余10mb。

                    FileChannel fc = new RandomAccessFile(mSourceFile, "r").getChannel();

                    MappedByteBuffer byteBuffer;



                    for (int i = 0; i < mBlockCount; i++) {

                        long leftBlockSize = Math.min(mSourceFile.length() - i * mBlockSize, mBlockSize);

                        byteBuffer = fc.map(FileChannel.MapMode.READ_ONLY, i * mBlockSize, leftBlockSize).load();

                        mResultArray.add(new BlockInfoModel("", MD5Util.md5(byteBuffer), i));

                    }

                    fc.close();

1. 批校验文件的切片md5值， 记录没有被上传过的切片下标，循环从源文件读取对应数据切片进行上传。切片数据流读到内存中性能最佳，但是需要谨慎考虑OOM问题；数据流保存到磁盘中，再循环每次1MB的读取比较稳健，但是性能稍差。本次重构提供了这两种切片方式都可以选择

2. 所有数据切片上传成功后，向服务端发起一次文件合并请求，成功则结束，否则跳到步骤3。

chapter 2.媒体压缩

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip204888 （备注Android）

最后

分享一份工作1到5年以上的Android程序员架构进阶学习路线体系，希望能对那些还在从事Android开发却还不知道如何去提升自己的，还处于迷茫的朋友！

• 阿里P7级Android架构师技术脑图；查漏补缺，体系化深入学习提升

  

• **全套体系化高级架构视频；**七大主流技术模块，视频+源码+笔记

有任何问题，欢迎广大网友一起来交流

本文已被CODING开源项目：《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

9e65ecb71ac0)

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算