Kylin
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
-
Kylin 优秀文章推荐
• 官方地址:http://kylin.apache.org/cn/ • 优秀书籍推荐:Apache Kylin 权威指南原创 2019-01-21 17:51:08 · 371 阅读 · 0 评论 -
presto,druid,sparkSQL,kylin的对比分析
1.这几个框架都是OLAP大数据分析比较常见的框架,各自特点如下: • presto:facebook开源的一个java写的分布式数据查询框架,原生集成了Hive、Hbase和关系型数据库,Presto背后所使用的执行模式与Hive有根本的不同,它没有使用MapReduce,大部分场景下比hive快一个数量级,其中的关键是所有的处理都在内存中完成。 ...原创 2019-01-21 17:02:25 · 1228 阅读 · 0 评论 -
Kylin On Druid Storage 原理与实践
目录 • What is Kylin Kylin 构建时的数据格式转换 Kylin 查询时的数据格式流转 What is Druid Storage • Why Kylin on Druid Storage • How Kylin on Druid Storage 1 Druid新增Binary指...原创 2019-01-20 19:38:00 · 959 阅读 · 0 评论 -
Kylin 之Cube 构建优化
从之前章节的介绍可以知道,在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。假设有4个维度,我们最终会有24 =16个Cuboid需要计算。 但在现实情况中,用户的维度数量一般远远大于4个。假设用户有10 个维度,那么没有经过任何优化的Cube就会存在210 =1024个Cuboid;而如果用户有20个维度,那...原创 2019-01-20 13:30:01 · 707 阅读 · 0 评论 -
Kylin 可视化
1.可以与Kylin结合使用的可视化工具很多,例如: • ODBC:与Tableau、Excel、PowerBI等工具集成 • JDBC:与Saiku、BIRT等Java工具集成 • RestAPI:与JavaScript、Web网页集成 • Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。 • ...原创 2019-01-19 23:50:27 · 1309 阅读 · 0 评论 -
Kylin 流式构建
1.前提条件 • Kylin将Kafka抽象成一个等同于Hive的数据源,也就是说Kylin是作为消费者从Kafka拉取数据的。因此Kylin需要依赖Kafka的客户端Jar包,因此我们需要设置环境变量KAFKA_HOME,指向kafka的客户端Jar的路径。eg: export KAFKA_HOME=/usr/lib/kafka/client • 写入Kafka中的数据...原创 2019-01-19 21:58:25 · 1321 阅读 · 0 评论 -
Kylin 增量构建
前面介绍了如何构建Cube并利用其完成在线多维分析的查询。每次Cube的构建都会从Hive中批量读取数据,而对于大多数业务场景来说,Hive中的数据处于不断增长的状态。为了支持Cube中的数据能够不断地得到更新,且无需重复地为已经处理过的历史数据构建Cube,因此对于Cube引入了增量构建的功能。 我们将Cube划分为多个Segment,每个Segment用起始时间和结束时间来标...原创 2019-01-18 19:15:08 · 902 阅读 · 0 评论 -
Kylin 快速入门
目录: • 数据准备 • 创建项目 • 创建Model • 创建Cube • Hive和Kylin性能对比 • 需求:实现按照维度(工作地点)统计员工信息 1.数据准备 在Hive中创建数据,分别创建部门和员工外部表,并向表中导入数据。1.1 原始数据 dep.txt10 ACCOUNT...原创 2019-01-18 17:56:14 · 796 阅读 · 2 评论 -
Kylin 安装启动时报:java.net.UnknownHostException
1.异常 Kylin在启动之后报一下错误:java.net.UnknownHostException: hadoop102:2181: 域名解析暂时失败。 具体错误信息如下:2019-01-19 22:00:43,140 INFO [main] zookeeper.ZooKeeper:438 : Initiating client connection, connectS...原创 2019-01-18 16:22:28 · 1540 阅读 · 0 评论 -
Kylin 安装启动时报:Please make sure the user has the privilege to run hbase shell
1.具体错误信息如下:[root@hadoop102 kylin]# bin/kylin.sh startRetrieving hadoop conf dir../opt/module/kylin/bin/find-hadoop-conf-dir.sh: line 33: hbase: command not foundKYLIN_HOME is set to /opt/module/...原创 2019-01-18 14:30:22 · 5287 阅读 · 1 评论 -
Kylin 环境搭建
1.安装地址 • 官网地址:http://kylin.apache.org/cn/ • 官方文档:http://kylin.apache.org/cn/docs/ • 下载地址:http://kylin.apache.org/cn/download/ 2.安装部署2.1 将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Li...原创 2019-01-18 12:12:32 · 613 阅读 · 0 评论 -
Kylin 简单介绍
1.Kylin定义 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 2.Kylin特点 Kylin的主要特点包括支持SQL接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI工具集成等。(...原创 2019-01-18 11:22:26 · 3517 阅读 · 1 评论