这是我的第77篇原创
昨天加班断更了一天
。今天继续哈。是继续加班。
正题开始，继续分享贝壳数据中台工程架构实践之二：OLAP平台。今天的主角是肖博士。请他出来镇个楼。从title上可以看出贝壳的文化，真的很扁平。
与大数据平台一样，OLAP平台也是慢慢演进的。
初期的OLAP现在看上去LOW爆了。Hive算完了居然是放在MySQL里的（我也这么干过）。贝壳还是很朴素的，够用就行。之后就深度使用Kylin了。现在又支持多种OLAP引擎。
这就是最早的阶段，跟大数据平台的图是一样一样的。最适合从0到1的开局。我发现这跟玩游戏一样。
一个小彩蛋，阶段的编号是从0开始的-来自程序员的浪漫。
等到业务需求不断增多，就开始从数据技术和数据管理两个层面进行优化了。数据技术方面就是使用支持大数据环境的OLAP引擎Kylin，数据管理方面就是使用指标平台。
这里吐槽一句啊，没有指标平台的日子是非常痛苦的，经常鸡同鸭讲。业务要提个数据，业务也说的口干舌燥，数据也经常一脸懵逼。所以指标平台不仅是管理工具，还是沟通工具，大大提升效率。
这是指标平台、维度建模、数据仓库之间的关系。我在之前有过非常详细的分享，各位可以去翻一下历史文章。
这个架构其实很简单，最上面是可视化和分析平台产品，通过下面的指标平台进行对接，然后才是OLAP引擎进行查询，Hive则作为数据源给Kylin提供原始数据。不过这里好像没体现Hbase啊。kylin的数据应该都是放在Hbase的。
肖博士原来的图片上有很多维度、字段、cube的名称，我给处理了一下。大家抄功能就好了，不用看这些内容。大家的指标定义其实都一样，核心就是指标名称、类型、统计口径、业务逻辑描述、支持的维度等信息。
指标定义方法基本都一样。我之前也分享过。
他们在指标平台层做了一个转义，把前台传过来的指标id、时间区间、维度等转为在Kylin查询的SQL。
这张片子写的是指标API的应用。但是我看页面应该是可视化报表的设计页面。同样，原图里的一些敏感信息我处理了一下。
这是他们的开发流程。之前有说过，贝壳是kylin的深度用户，就体现在这里。他们的指标开发工作完全是围绕kylin进行的。肖博士分享的时候也提到，如果拿掉kylin，那么他们第二阶段的所有工作将没有任何意义。
这是贝壳在第二阶段的成绩，还是非常牛X的！基本上中型企业到这一步就足够了。
但是贝壳没有停下。这是第三阶段（有一个小bug，3个阶段，第一个阶段编号是0，第二个阶段编号是1，第三个阶段编号是3，2去那了？
）。
有一个细节不知道大家发现没有。第二阶段和第三阶段的区别在于多了一个查询引擎。这个查询引擎将指标平台和OLAP引擎进行解耦，与指标平台解耦前端和OLAP一样的逻辑。这才让贝壳OLAP平台拥有对接多种OLAP引擎的可能。
后面就是一样的了，定义好指标，定义好统一的cube，查询的时候，对指标查询参数进行转义，想转kylin就转kylin，想转druid就转druid。
另外，肖博士还分享了他们对OLAP引擎的分析，大家可以学习一下。
kylin是预计算的，数据膨胀肯定很高。这个没得比的。
这个ppt也已经上传了，后台回复“贝壳OLAP”即可下载文档。
配合以下文章享受更佳
我需要你的点赞，爱你哟
201
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
