Android Download 下载功能深入研究(二) : 速度提升之探索

        之前我们说到影响下载速度的因素,那么我们一般在写下载功能的代码时,一般流程会这样:

从网络读取数据->存入buffer->将buffer写入sd卡

        下面我们对这个过程做一次时间分析:

1.从网络读取数据,这个取决于很多种因素,包括带宽,路由器,服务器的带宽限制等多重因素,我们统称为网络因素.这部分是需要时间的,而且在网速不好的时候,会成为主要的耗时原因.

2.存入buffer的速度,很快,可以忽略不计

3.将buffer中的数据,写入到文件,这部分也是耗时的主要原因,而且这部分耗时,是定值(当然,对于这部分的处理,也是有技巧的).在不断实验中发现,这部分写文件的时候,主要是由两部分因素而决定

a.如果使用RandomAccessFile来写,会慢一些,使用FileOutputStream来写,会快一些.但是RandomAccessFile也是有优势的,因为可以seekto,对于多线程下载来说,写入文件的时候,貌似只能用RandomAccessFile,因为需要分块来下载.(经测试,速度随设备不同而不同)

b.频繁的多次写入文件,速度也会降低.也就是说,当写入100次2KB的文件,要比一次写入200KB的文件,速度要慢.于是:

想法来了!

我为什么不把从http请求获取的数据包,先存起来,然后等到一定的大小,一起写入文件呢?

一次http请求获取到的数据一般最多可以获取2048 byte,我们可以设置一个mFileBuf = 1 * 1024 * 1024 (也就是1M),先把每次获取的数据包,存入这个mFileBuf,当mFileBuf达到1M的时候,一次性写入文件.经测试,这样会省下好多时间,下面贴出关键代码

private void writeToFileBuffer(long readLength){
        if (readLength <= 0) {
            return;
        }
        mFileBuf.put(buffer.array(), 0, (int) readLength);
    }

if (mFileBuf.buffer.position() + len > download_buffer_size) {

 mRandomAccessFile.write(mFileBuf.buffer.array(), 0, fileOffset);
}

当在网络速度极快的情况下,大约下载速度大于4M每秒的时候,瓶颈基本上就会在写入速度上.(此话未必准确,因为设备的差异可能会很大,导致这个数据有可能在不同设备上存在较大差异).

我曾经测试,在内网局域网的情况,下载速度可能会达到20M/秒,这个时候写sd卡的速度完全成为了瓶颈,那么上面的优化,效果会更好一些.但是,如果我们用一个线程来下载,存入1M的mFileBuf,然后把这个mFileBuf交给另一个线程来写呢?这样不是更好?于是,基于此的改进算法,出现了!

我可以设置两个buffer队列,其中一个buffer队列用于存储从网络获取到的byte所保存到的buffer,另一个buffer队列用于保存需要写入到sd卡的buffer.我们从第一个buffer队列中获取一个新的buffer,写满后,交给另一个buffer队列,然后另一个线程拿到这个buffer后进行写文件操作,写完后清空,扔回到第一个buffer去,如此循环会节省一些时间,下面贴出整个类的代码:(测试代码,冗余较多,因为以后可能要改进,所以暂时不整理了)

public class DownloadThread extends Thread {
    private MultiThreadWorker mMultiThreadWorker;
    private File mSaveFile;
    private URL mUrl;
    private int mThreadId = -1;
    private long mBlock;
    private long mDownLength;
    private long mStartPos = 0;
    private long mEndPos = 0;

    private boolean mIsStart = false;
    private boolean mIsFinish = false;
    private boolean mIsStop = false;
    private boolean mIsError = false;

    public static final int download_buffer_size = 4 * 1024 * 1024;
    public static final int file_buffer_size = 4 * 1024 * 1024;
    ByteBuffer mDownlaodBuf;
    LocatedBuffer mFileBuf;
    ByteBuffer mFileBuf0;
    LocatedBuffer mLocatedBuffer0, mLocatedBuffer1, mLocatedBuffer2, mLocatedBuffer3;
    public Queue<LocatedBu