adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦

原创 2013年07月24日 13:45:38

adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦

1:mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。
2:mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级别的任意维度组合的数据。
3:mdrill是一个分布式的在线分析查询系统,基于hadoop,lucene,solr,jstorm等开源系统作为实现,基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的,他的底层因使用了索引、列式存储、以及内存cache等技 术,使得数据扫描的速度大为增加。mdrill是分布式的,它以并行的方式工作,通过并行处理加快处理速度。
4:mdrill在adhoc项目中,mdrill使用了10台机器,存储了400亿的数据,每次扫描30亿的行数,响应时间在20秒~120秒左右(取决不同的查询条件)。

更多请移步Mdrill 官方地址https://github.com/alibaba/mdrill 如果您也比较喜欢这个项目,请帮忙点击star


相关文章推荐

面向ad-hoc查询的实时SQL分析系统

Impala/Hive现状分析与前景展望 Impala和Hive野史 提到Impala就不得不提Google的Dremel,处理PB级数据规模的基于SQL的交互式、实时数据分析系统。D...
  • guoery
  • guoery
  • 2013年01月05日 11:08
  • 7009

hadoop平台的海量数据分类应用

  • 2017年08月16日 08:40
  • 853KB
  • 下载

海量数据平台解决方案的一些思考(一)

现在,稍微大一点的互联网公司都会搞自己的数据平台,平台功能基本上就是跑数据,出报表,高端点的做做数据挖掘等等。由于在上一家公司做了2年多的海量数据平台方面的工作,在这一领域多多少少积累了一些经验,在这...

海量数据平台解决方案的一些思考(二)

上一篇文章介绍了如何搭建一个海量数据平台系统,不管采用何种分布式方案,最终的架构应该都差不多。这篇文章我会介绍一个基于这个平台的端到端的全程自助化点击流上报、统计、展示解决方案。 问题是什么...

DB2数据库海量数据跨平台极速在线迁移神器之HPU

HPU即Optim High Performance Unload,是一款快速的、高效的、灵活的、多功能的数据卸载和迁移工具。在大部分情况下,HPU 卸载数据的速度比 DB2 Export 实用工具...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦
举报原因:
原因补充:

(最多只允许输入30个字)