海量数据排序(电商应用)

[b]问题:[/b]
海量排序数据:4亿数据放哪里呢
不放数据库,不放集合类(内存溢出),是存放在文件里

内存有限,50或500亿单词数字文本进行排序?

稳定排序&不稳定排序:
[url]https://www.cnblogs.com/codingmylife/archive/2012/10/21/2732980.html[/url]

解决问题
多线程高并发,海量数据排序,查询,统计
C10K->指的是服务器同时支持成千上万个客户端的问题,也就是concurrent 10 000 connection(这也是c10k这个名字的由来)。

[b]解决方案:[/b]
多路归并排序:
1个文件拆分成100个文件,多个文件间执行归并排序,最后合并大的文件。
思想:分而治之

[img]http://dl2.iteye.com/upload/attachment/0128/5653/07f60b80-26e6-3e4e-a845-11a6f35e32c1.png[/img]

[img]http://dl2.iteye.com/upload/attachment/0128/5655/d1a23043-8a47-3fa4-a7b0-7071888b322d.png[/img]

java.io和java.
内排序,外排序

有没有其他方式:
haddoop底层 位图排序法
mapReduce

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值