kylin学习笔记
_tommy
这个作者很懒,什么都没留下…
展开
-
kylin初识
1、数据仓库的相关概念OLAP 大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Tra0nsaction Processing, OLTP),面向的是顾客,诸如:办事员、DBA等。而数据仓库主要面向知识工人(如经理、主管等)提供数据分析处理,这种处理被称为OLAP(Online Analysis Processing)。OLTP管理的是当前数据,比较琐原创 2017-05-23 10:18:44 · 951 阅读 · 0 评论 -
kylin介绍
Kylin是ebay开发的一套OLAP系统,与Mondrian不同的是,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析业务,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase),这段时间对mondrian和kylin都进行了使用,发现这两个系统是时间和空间的一个权衡吧,mondrian是一个ROLAP系统,所有的查询可以通过实时的数据库查询完成,而不转载 2017-05-23 16:33:47 · 530 阅读 · 0 评论 -
Kylin 的cube创建成功 但Build失败
Create and distribute table, cmd: hive -e "SET dfs.replication=2;SET hive.exec.compress.output=true;SET hive.auto.convert.join.noconditionaltask=true;SET hive.auto.convert.join.noconditionaltask.si原创 2017-06-05 17:48:17 · 2783 阅读 · 0 评论 -
hive启动问题
有时候我们碰到这样的情况: 输入hive时,只会出现下面的提示 Logging initialized using configuration in file:/home/grid/apache-hive-1.2.1-bin/conf/hive-log4j.properties 然后就没有然后了,也不报错,一直卡着不动。解决方法: jps一下,看一下runJar进程有几个 如果你已经运行了原创 2017-06-06 12:01:48 · 1313 阅读 · 0 评论 -
no counters for job 错误
CHD 5.8.5 kylin2.0.0 build cube 第三步报错no counters for job 看job详细信息:报错如下:2017-07-10 15:01:25,213 FATAL [IPC Server handler 1 on 55386] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_原创 2017-07-10 15:56:39 · 5189 阅读 · 0 评论 -
kylin : killed by admin
build cube时报这个错误, 这个时候我们无法定位问题, 但是从Yarn的作业中来查看: MAP capability required is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest:原创 2017-07-06 10:35:39 · 1021 阅读 · 0 评论 -
扒一扒kylin遇到的事
前言:kylin好端端的运行两个月,突然炸了,build cube在 create table 一直出错,后排查是hbase的原因,弄了三天,终于解决,说多都是泪~~~刚开始kylin报错如下:java.lang.RuntimeException: HBase table KYLIN_DWMTH3AXKI exists! at org.apache.kylin.storage.hbase.s原创 2017-08-24 17:06:38 · 3548 阅读 · 0 评论