adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦

原创 2013年07月24日 13:45:38

adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦

1:mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。
2:mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级别的任意维度组合的数据。
3:mdrill是一个分布式的在线分析查询系统,基于hadoop,lucene,solr,jstorm等开源系统作为实现,基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的,他的底层因使用了索引、列式存储、以及内存cache等技 术,使得数据扫描的速度大为增加。mdrill是分布式的,它以并行的方式工作,通过并行处理加快处理速度。
4:mdrill在adhoc项目中,mdrill使用了10台机器,存储了400亿的数据,每次扫描30亿的行数,响应时间在20秒~120秒左右(取决不同的查询条件)。

更多请移步Mdrill 官方地址https://github.com/alibaba/mdrill 如果您也比较喜欢这个项目,请帮忙点击star


Ad hoc查询

Ad hoc 查询(即席查询)是信息学的一个术语。 许多应用软件系统都有一个潜在的、只能通过有限的请求和报告才能访问的数据库。通常是通过一些特定的菜单进行访问,并且已经被程序专家细心设计过、预先...
  • joyyoj
  • joyyoj
  • 2012年11月03日 15:00
  • 4672

面向ad-hoc查询的实时SQL分析系统

Impala/Hive现状分析与前景展望 Impala和Hive野史 提到Impala就不得不提Google的Dremel,处理PB级数据规模的基于SQL的交互式、实时数据分析系统。D...
  • guoery
  • guoery
  • 2013年01月05日 11:08
  • 7528

即席查询

今天看了下Trinitycore源代码的数据库IO部分,发现一个新的概念记录一下:即席查询 这个仅当是笔记 以前一直不知道什么叫即席查询,今天重新看了一遍《SQLSERVER企业级管理...
  • qq51931373
  • qq51931373
  • 2016年06月20日 14:28
  • 953

PostgreSQL 实时高效搜索 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询

点击有惊喜 标签 PostgreSQL , 搜索引擎 , GIN , ranking , high light , 全文检索 , 模糊查询 , 正则查询 , 相似查询 , ...
  • yunqishequ1
  • yunqishequ1
  • 2017年12月06日 15:00
  • 161

大数据江湖之即席查询与分析(中篇)--即席查询与分析的典型场景

上篇提到了大数据做数据分析的三种最为典型计算模式:批处理(Batch),即席查询与分析(Ad-hoc),流计算(Stream);对于批处理和流计算,虽然小弟也略知一二,早在Hive还没出来之前,也是从...
  • vv8086
  • vv8086
  • 2017年02月20日 22:59
  • 1609

华为开源数据格式CarbonData项目,实现大数据即席查询秒级响应

华为宣布开源了CarbonData项目,该项目于6月3日通过Apache社区投票,成功进入Apache孵化器。CarbonData是一种低时延查询、存储和计算分离的轻量化文件存储格式。那么相比SQL ...
  • qq_36617521
  • qq_36617521
  • 2017年02月06日 10:38
  • 697

大数据江湖之即席查询与分析(上篇)--即席查询与分析的前世今生

如今,大数据领域新技术层出不穷,可谓百家争鸣,甚是红火。不乏有些玩家动辄搞出个大数据平台,可谓包罗万象,号称无所不能。小弟则以为在大数据江湖中如能修炼好独门绝技,有能拿得出手的看家本领已然实属不易。小...
  • vv8086
  • vv8086
  • 2017年02月20日 17:16
  • 2207

使用presto+airpal+hive打造即席查询工具

0X01 前言即席查询怎么做、怎么选型!这次用的是presto来做尝试。缘起公司是Impala的深度用户,我主要负责Impala的各方面的工作,最近因为一些特殊原因需要对现有的体系进行一些调整,需要做...
  • zhaodedong
  • zhaodedong
  • 2016年08月05日 20:20
  • 6537

大数据江湖之即席查询与分析(下篇)--手把手教你搭建即席查询与分析Demo

上篇小弟分享了几个“即席查询与分析”的典型案例,引起了不少共鸣,好多小伙伴迫不及待地追问我们:说好的“手把手教你搭建即席查询与分析Demo”啥时候能出?说到就得做到,差啥不能差人品,本篇只分享技术干货...
  • muyannian
  • muyannian
  • 2017年03月05日 12:07
  • 1720

五十款阿里开源软件说明介绍

通过写这篇文章从开源中国站上面看了很多,也从那里将开源软件的基本的介绍和下载地址拷贝到了文章当中,总体给我的一个感受就是阿里的开源实在太强大了,多到需要花大量的时间去了解。今天写这篇文章主要是对阿里开...
  • boonya
  • boonya
  • 2017年02月13日 17:37
  • 7041
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦
举报原因:
原因补充:

(最多只允许输入30个字)