大数据江湖之即席查询与分析（上篇）--即席查询与分析的前世今生

如今，大数据领域新技术层出不穷，可谓百家争鸣，甚是红火。不乏有些玩家动辄搞出个大数据平台，可谓包罗万象，号称无所不能。小弟则以为在大数据江湖中如能修炼好独门绝技，有能拿得出手的看家本领已然实属不易。小弟有幸从2010年投身于大数据，并先后就职于阿里和腾讯，见过世面之后，自知才疏学浅，仅专注于大数据即席查询与分析技术。在此将多年所学所做汇聚成文，留下“大数据江湖之即席查询与分析”三部曲，为大数据即席查询与分析的后来者所用。
       提到大数据即席查询与分析，各位同学可能心中会画下一个问号，大数据即席查询与分析是个什么鬼？小弟我这里想先强调是，大数据中的“量（Volume）”，由于每个人所接触的工作环境和业务场景的不同，大家对大数据中“量”的理解可能有所不同。小弟处理的或者说所瞄准的数据量级为万亿总量，每天千亿增量，这样一个级别。小弟也真正在老东家搭建过几百台节点的集群的生产系统，处理过这个级别的数据；创业之后，协助客户和合作伙伴搭建过若干个几十台、上百台的集群，数据量也多则千亿，少则几十亿到数百亿不等。令小弟欣喜的是大数据真正在互联网行业以外的各个行业被逐步应用起来，这激励着小弟在创业路上不断前进。
       之所以要强调这个“量（Volume）”，一个原因是有不少伙伴由传统IT转来做大数据，很多业务系统多以OLTP为主，尤其以Oracle，MySQL什么的，数据量级多在几十万到数百万条，数据过了千万，恐怕就要分库分表了，过了亿级，即便再牛逼的硬件，再牛逼的DBA去优化，恐怕其性能就不能尽如人意了，有时候即便做个常规GroupBy，To