海量的数据的处理

1、若有1T的数据，需要实现由大到小的排列，你用什么办法，说说你的思路和想法？

解题思路：1、内存大小，比如256M

　　　　　2、每一条数据的大小1K

　　　　  这样的话1T有的数据条数大约为2³⁰

　　　　  内存中可以存放的数据条数为2¹⁸

　　　　  把这些数据分成份数必须大于2¹²=4096

　　　　 根据某一种hash算法把数据写到n个文件中

　　　　

　　　　对每一个文件的数据读到内存中进行单独排序(内部排序+空间复杂度+时间复杂度)

　　　　排好序以后就可以把数据写回外存

　　　　最后就可以用多路归并排序了，当然这样子只是说Hash分类的key之间并没有表明顺序范围的概念，如果有顺序范围的概念就可以读完一个文件等处理完后再读另一个文件。

              

2、有10个G的数据，如果两条数据一样，则表示该两条数据重复了，现在给你512的内存，把这10G中重复次数最高的10条数据取出来。

转载于:https://www.cnblogs.com/erdanyang/p/11137829.html