对海量数据进行排序

一、问题描述

  对于很多数据，我们内存是放不下的，因此我们不能按照以往的那种直接用快排或者调用.sort函数就解决了。大概的方法有这些。

二、解决方法

1.位图法

  

先申请一个二进制数组，其大小为有可能出现的最大的整数值，如500万，如图所示。

 假设5个整数组成的序列{2,3,200,7000,12000}，则我们可以将这个序列保存在二进制数组当中，第n位如果为1，则表示n存在于这个序列中：

  然后在根据这个二进制数组转化为整数，依次从小到大排序更新到外部文件。

 代码：

public class SortBigWord {

    public static void main(String[] args) throws IOException {
        //位图
        BitSet bs = new BitSet();

        String fileName = "word";
        BufferedInputStream in = new BufferedInputStream(new FileInputStream(fileName));
        byte[] buf = new byte[1024 * 8];
        int len;
        while ((len = in.read(buf)) != -1) {
            byte[] bytes = Arrays.copyOfRange(buf, 0, len);
            String[] strs = new String(bytes).split("\n");
            for (String str : strs) {
                bs.set(Integer.parseInt(str), true);
            }


            for (int i = 0; i < bs.length(); i++) {
                if (bs.get(i)) {
                    System.out.println(i + " ");
                }
            }

        }
    }
}

这个方法有个缺点就是如果有重复的数字，那么你这边需要将它次数记录下来，可能要另开一个Map进行操作。

而且BitSet它有大小的控制，存入的数有最大限制貌似是10亿

2.分治法

①、把磁盘上的1TB数据分割为40块（chunks），每份25GB。（注意，要留一些系统空间！）

　　②、顺序将每份25GB数据读入内存，使用quick sort算法排序。

　　③、把排序好的数据（也是25GB）存放回磁盘。

　　④、循环40次，现在，所有的40个块都已经各自排序了。（剩下的工作就是如何把它们合并排序！）

　　⑤、从40个块中分别读取25G/40=0.625G入内存（40 input buffers）。

　　⑥、执行40路合并，并将合并结果临时存储于2GB 基于内存的输出缓冲区中。当缓冲区写满2GB时，写入硬盘上最终文件，并清空输出缓冲区；当40个输入缓冲区中任何一个处理完毕时，写入该缓冲区所对应的块中的下一个0.625GB，直到全部处理完成。