一、安装过程
本次使用的安装环境:
apache-kylin-3.0.1-bin-cdh60、CDH 6.0.1
kylin各版本地址:https://archive.apache.org/dist/kylin/
kylin自2.6.1后有CDH6.0使用的版本,本次先后尝试了将近Kylin五六个版本进行安装,Kylin2.x与CDH6.0均有jar包缺少和jar包冲突问题,亲测Kylin3.x整合CDH6.0没有问题
1、由于Kylin执行任务依赖Hadoop、Hbase、Spark,所以需要在Kylin的bin目录执行check-env.sh检测当前环境是否可用。除此之外需要开启HiveServer2、Hive Metastore Server。
2、修改配置文件
参数具体含义详见官网
kylin.server.cluster-servers=hadoop-datanode2:7070
kylin.engine.mr.job-jar=/opt/platform/apache-kylin-3.0.1-bin-cdh60/lib/kylin-job-3.0.1.jar
kylin.storage.hbase.coprocessor-local-jar=/opt/platform/apache-kylin-3.0.1-bin-cdh60/lib/kylin-coprocessor-3.0.1.jar
kylin.web.timezone=GMT+8
3、检查所配置端口是否被占用,bin目录下kylin.sh start 启动Kylin
4、Kylin操作
参见这里:https://www.rookiegao.top/archives
kylin简介与zeppelin简单整合案例二
二、踩坑笔记
1、Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty
解决:
vim /opt/cloudera/parcels/CDH/lib/hbase/bin/hbase
添加如下:
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
2、Failed to find metadata store by url: kylin_metadata@hbase
解决:
Kylin版本与CDH版本不匹配
3、java.lang.NoSuchMethodError: org.apache.curator.CuratorZookeeperClient
解决:
Kylin版本与CDH版本不匹配
4、java.net.URISyntaxException: Relative path in absolute URI: hdfs://nameservice1
解决:
Kylin版本与CDH版本不匹配
5、java.lang.RuntimeException: cannot get HiveTableMeta java.lang.ClassCastException:
解决:
kylin找不到hive的相关元数据,把hive-site.xml软链到Kylin的conf下
6、org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$GetContentSummaryRequestProto cannot be cast to org.apache.phoenix.shaded.com.google.protobuf.Message
解决:
在build kylin 的cube时报这个错误,与phoenix有关。
原因是此集群HBase已经整合Phoneix,HBase的相关lib中有Phoenix的依赖包,Kylin又去依赖HBase的相关包,在HBase的lib中删除Phoenix的包即解决。