[b]问题:[/b]
海量排序数据:4亿数据放哪里呢
不放数据库,不放集合类(内存溢出),是存放在文件里
内存有限,50或500亿单词数字文本进行排序?
稳定排序&不稳定排序:
[url]https://www.cnblogs.com/codingmylife/archive/2012/10/21/2732980.html[/url]
解决问题
多线程高并发,海量数据排序,查询,统计
C10K->指的是服务器同时支持成千上万个客户端的问题,也就是concurrent 10 000 connection(这也是c10k这个名字的由来)。
[b]解决方案:[/b]
多路归并排序:
1个文件拆分成100个文件,多个文件间执行归并排序,最后合并大的文件。
思想:分而治之
[img]http://dl2.iteye.com/upload/attachment/0128/5653/07f60b80-26e6-3e4e-a845-11a6f35e32c1.png[/img]
[img]http://dl2.iteye.com/upload/attachment/0128/5655/d1a23043-8a47-3fa4-a7b0-7071888b322d.png[/img]
java.io和java.
内排序,外排序
有没有其他方式:
haddoop底层 位图排序法
mapReduce
海量数据排序(电商应用)
最新推荐文章于 2024-07-08 20:16:01 发布