大数据数据处理之排序问题

例如，一个文件中有9亿条不重复的9位整数，对这个文件中数字进行排序。

方法一，分治法。通过hash将9亿条数据分为20段，每段大约5000万条，大约占用5000万*4byte=200M空间，依次对0~5000万，50000001~1亿……各个小文件排序，然后取出各个小文件中的一部分放入内存进行归并排序，将排序的结果存入文件直至完成整个文件的排序。该方法虽然缩小了每次使用的内存空间大小，但是编码复杂，速度也慢。 

方法二，位图法。考虑到最大的9位整数为999999999，由于9亿条数据是不重复的，可以把这些数据组成一个队列或数组，让它有0~999999999（一共10亿个数）元素数组下标表示数值，结点中用0表示没有这个数，1表示存在这个数，判断0或1只用一个bit存储就够了，而声明一个可以包含9位整数的bit数组，一共需要10亿/8，大约120M内存，把内存中的数据全部初始化为0 ，读取文件中的数据，并将数据放入内存。比如读到一个数据为341245909这个数据，那就先在内存中找到341245909这个bit，并将bit值置为1 ，遍历整个bit数组，将bit为1的数组下标存入文件，最终得到排序后的内容。