阿里云377秒完成100TB数据排序:秒三星百度

阿里云377秒完成100TB数据排序:秒三星百度

今日,Sort Benchmark 在官方网站公布了 2015 年排序竞赛的最终成绩。其中,阿里云用不到 7 分钟(377 秒)就完成了 100TB 的数据排序,打破了 Apache Spark 的纪录 23.4 分钟。Sort Benchmark 有全球科技公司“计算奥运会”之称,更早之前 Hadoop 的记录是 72 分钟。

堆机器堆出来的…想想天河…

其实看看这个拼机器的子榜单没有Amazon Google Microsoft就能看出点什么了

虽然也不是一点技术含量都没有。

  据介绍,Sort Benchmark 的排序竞赛包含 4 项比赛,其中 GraySort 和 MinuteSort 主要评测计算系统的规模和效率,是 4 项比赛中含金量最高的两项。每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。阿里云飞天分布式计算系统,在这两项重量 级比赛中打破了全部 4 项世界纪录。

  GraySort 评测的是超大规模数据量排序的速度,飞天用了 377 秒对 100TB 数据完成排序,也就是说 1 分钟能够完成 15.9TB 的数据排序,去年 Apache Spark 成绩为 4.35TB/分钟。MinuteSort 评测的是系统在 1 分钟内能够完成排序的数据量,飞天用 1 分钟完成了对 7.7TB 数据的排序,去年冠军三星为 3.7TB。

  阿里云首席架构师唐洪表示,排序是最基础的计算问题。100TB 排序,是把 1 万亿条无规律的 100 字节纪录,严格按照从小到大的顺序排序,考验分布式系统中存储、调度、通信等各个子系统的性能,能够反映出一个平台的整体计算能力。GraySort 和 MinuteSort 这两项比赛,充分证明了阿里云在计算方面的核心能力。

  据了解,Sort Benchmark 是一个专门从事排序基准评估的非盈利机构,该机构每年都会举办一次国际顶级排序基准评估比赛,被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加,以评估他们的研究成果。

  世界排序大赛官网公布的结果:http://sortbenchmark.org/

转载于:https://www.cnblogs.com/kzwrcom/p/4919836.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值