这是彭文华的第176篇原创
如果你是在 2015 年前玩大数据，你会遇到一个巨大的障碍，就是装上 Hadoop 之后，计算是不成问题了，但是怎么解决在线分析的需求？
因为分布式计算引擎 MapReduce 的计算步骤非常复杂，计算命令下达之后得先调拨资源才能启动计算，然后还得先拆开任务方便各节点分别计算，计算完之后还要合并，这效率可想而知。你去 Hive 里取数再运算，那起码得好几分钟才能出结果。这谁能忍得了啊？
所以当时的 Hadoop 都只是当做存储数据的介质，最多当做数据仓库的 ODS 和 DWD 层。甚至恨不得数据刚进 ODS ，就马上写个 MapReduce 汇总一下直接扔到 MySQL 里去。至少在 MySQL 速度还能快点，但是 MySQL 数据上千万也完蛋。
你说，咋办？
中国神兽出笼！
当时的 eBay 也遇到这个问题了。之前分享过，当时最牛的数据仓库工具是 Oracle、Teradata 等业界大佬。他们不仅也有性能瓶颈，而且还有一个更让人无法接受的阻碍-价格。
他们可不是只是按用户数收费，他们还按机器的 CPU 收费！也就是说，你的数据量上去了，不仅要买更牛的机器，还要给 Oracle、Teradata 付更多的钱才能用。动辄几千万的单机，这谁玩儿的起啊？
eBay虽然有钱，但也不想乱花，这简直是个无底洞啊！换谁都肉疼。于是 eBay 就想搞一个 Hadoop 环境下的 OLAP 产品，内部试一试，不成就算，成了不是可以省好大一笔钱么？于是，在 2013 年底， eBay 中国区组建了一个 4、5 人的小团队。项目经理叫韩卿，主程是李扬。
经过小团伙一年多的内部开发，一个叫“Kylin”的产品悄摸儿的上线了。你看，Kylin 的生态位站的那叫一个稳啊！以前从数据存储和计算的 Hadoop 平台到用户的在线多维分析需求中间是一个天堑，Kylin 直接填补了这个空白！
这一上线就吧，可不得了啦！数据分析师同学们都爱死他们了，因为 Kylin 可以做到在线多维分析的亚秒级反应。
这是啥概念？
原来的工作状态是：选好分析维度和度量，点一下运行，然后可以去开个会再回来看看。等数据跑出来，估计都忘了要分析啥了。
现在呢？点一下，马上就看到结果，这简直给跪了好么？当时的项目经理韩卿把源码放到 git 上开源了。上去就是爆赞！那句话怎么说来着？出道就无敌！
紧接着， Kylin 在无数人的支持下，韩卿又把Kylin贡献给 Apache 基金会进行孵化，由 Apache 孵化副总裁亲自担任孵化导师！是 当时Apache 160 多个顶级项目中唯一一个完全由中国人开发出来的！也是 Apache 动物园里唯一一只中国神兽。对，就是这货：麒麟！
这还不算完。从 Apache 毕业后，这只麒麟神兽不断斩获各种大奖，“最佳开源大数据工具奖”都拿到手软！
这是啥？中国码农走向世界巅峰的桥段么？小说也不敢这么写好吗？
Kylin怎么这么猛？
你可能会说Kylin 当时猛，原理其实也没啥复杂的，无非是生态位站的好。
确实，当时Kylin就是把 BI 产品里建 Cube 的那套逻辑搬到 Hadoop 大数据环境里了。详细的技术说明我介绍过，这里就不重复了，你可以参考一下【戳我查阅：传统数据仓库转型最佳利器：Kylin！】。
这个 Cube 简单来说，就是先算好放在哪里，想用的时候就不用算了，直接读取就好了，这当然就快了。
没有 Kylin 的时候，小学生算乘法，就像没有乘法表一样，得挨个加：3*3，就是 3 个 3,3+3=6，再加 3 等于 9。
有 Kylin ，提前就把数算好了，就相当于给小学生一个九九乘法表，背下来就好了。3*3 ,三三得九么！
而且 Kylin 还有 Hadoop 的加持，数据量轻松过 PB 级别！而普通的结构化数据库，单表过2千万条数据，性能就开始直线下滑。这完全没有可比性，直接碾压。
但是！光凭这一招，只能是一时的威猛。因为你能这么做，回头我也弄一个开源项目跟你竞争也行啊。所以还得不能一时威猛，还得持久的威猛。
持久得有钱才能持久啊，要不一帮人喝西北风？于是韩卿带着Kylin 开发团队创业了，取名 Kyligence ，就是 Kylin + Intelligence。
如果说开源代表着梦想中的爱情，那么创业就是照进现实的婚姻，要面对无数的琐事。
于是，Kyligence 的小伙伴一边挣钱养家，一边努力生娃。啊不对，是努力迭代产品：
2016年3月：支持自定义聚合类型、TopN聚合、BitMap、克隆Cube；
2016年4月：支持从事实表查询详细数据、自定义维度；
2016年9月：支持窗口函数、分组功能、cube导入；
2017年4月：支持Spark的Cube构建、高可用的Job引擎；
2017年11月：支持Ranger、传统关系型数据库、流式多维数据集示例；
2018年6月：支持kafka与Hive表join、各种case when等处理函数；
2019年4月：全面支持实时流式数据处理、云原生，支持通过Livy递交Spark作业；
2019年12月：支持presto，支持列计数，支持Docker！
他们保持着每两个月就迭代一次的速度！就在刚过去的2021年2月，Kylin4.0版本发布，新增各种高级函数，关键还支持读写分离！
这真是一帮勤奋的中国汉子，在孜孜不倦的建造属于中国的大数据智能产品。这实在是太猛了！又猛又持久的真男人！
Kylin咋用？有啥案例不？
话都说到这里了，我还能不给点真货啊？我这么实诚的人，事儿得办妥了！二话不说，上干货！2本电子书+22份实操案例，理论实践全都有了！
2本电子书，尤其是第一本权威指南，Kylin核心团队编写，没有比这个再权威的了！
22份案例，eBay、携程、马蜂窝、小米、58、腾讯、中通快递、平安、建行、滴滴等国内外各大厂的实践经验，那是杠杠的干货啊，干的不能再干了。
技术引领，数据赋能——建行大数据能力建设之路.docx
【05-倪春恩-Kyligence】Apache Kylin 大数据 OLAP 利器.pdf
「案例」Kylin 在携程的实践_20210303_202427.pdf
Kylin在马蜂窝数据分析团队的应用实战_20210303_202427.pdf
Kylin–基于Hadoop的大规模联机分析引擎_20210303_202427.pdf
Kylin-on-Kubernetes-in-eBay.pdf
Kylin 最佳实践｜爱奇艺如何处理千亿级数据_20210303_202426.pdf
Kylin 在小米大数据中的应用_20210303_202425.pdf
Kylin 在 58 集团的实践和应用_20210303_202429.pdf
Apache-Kylin在爱奇艺的实践.pdf
Apache Kylin－Hadoop上的大规模联机分析平台_20210303_202428.pdf
Apache Kylin 在中通快递的实践_20210303_202428.pdf
5-Apache Kylin 在腾讯的平台化及 Flink 引擎实践_20210303_202351.pdf
4-RocketMQ 高可用存储演进之路_20210303_202359.pdf
4-Kylin 在一点资讯的实践_20210303_202412.pdf
4 大数据多维分析引擎在MEIZU的实践－Kylin分享.pdf
3-Kylin在用户行为分析场景的应用_20210303_202412.pdf
3-Kylin 精确去重及在用户行为分析中的应用_20210303_202351.pdf
2-基于 RocketMQ Connect构建全新数据流转处理平台_20210303_202354.pdf
2-Linkis on Kylin meetup_20210303_202413.pdf
1-Kylin 在平安云大数据组的探索与实现_20210303_202353.pdf
1-Kylin 引擎在滴滴的应用及实践_20210303_202412.pdf
24份资料下载方式：关注本公众号“大数据架构师”，后台回复“kylin”即可下载。
你也可以加我微信：shirenpengwh，随时聊啊~
配合以下文章享受更佳
421
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
