- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kylin性能调优记——业务技术两手抓
背景最近开始使用了新版本的Kylin，在此之前对于新版本的了解只是代码实现和一些简单的新功能测试，但是并没有导入实际场景的数据做分析和查询，线上Hadoop稳定之后，逐渐得将一些老需求往新的环境迁移，基于以前的调研，新版本（V2，版本为1.5.2）的Kylin提供了几个比较显著的功能和优化：新的度量类型，包括TOPN、基于bitmap的精确distinct count和RAW。自定义度量框架，用
2016-07-20 23:58:05
12691
13
原创 关于Kylin结果缓存的思考
由来Apache Kylin定位是大数据量的秒级SQL查询引擎，原理是通过预计算所有可能的维度组合存储在Hbase中，查询时解析SQL获取维度和度量信息，然后再从hbase中扫描获取数据返回，个人认为Kylin最强大的地方在于实现了SQL引擎，如果使用自定义的格式化查询语言也可以完成相应的数据访问操作，无非是指定查询的维度、度量、聚合函数、过滤条件，排序列等等。但是这种描述较之于SQL太弱了，SQL
2016-07-10 12:27:22
12072
原创 Parquet与ORC：高性能列式存储格式
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析
2016-07-09 20:37:22
64604
14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人