Kylin3.0.1整合CDH6.0.0

一、安装过程
本次使用的安装环境:
apache-kylin-3.0.1-bin-cdh60、CDH 6.0.1
kylin各版本地址:https://archive.apache.org/dist/kylin/
kylin自2.6.1后有CDH6.0使用的版本,本次先后尝试了将近Kylin五六个版本进行安装,Kylin2.x与CDH6.0均有jar包缺少和jar包冲突问题,亲测Kylin3.x整合CDH6.0没有问题
1、由于Kylin执行任务依赖Hadoop、Hbase、Spark,所以需要在Kylin的bin目录执行check-env.sh检测当前环境是否可用。除此之外需要开启HiveServer2、Hive Metastore Server。

2、修改配置文件
参数具体含义详见官网

kylin.server.cluster-servers=hadoop-datanode2:7070
kylin.engine.mr.job-jar=/opt/platform/apache-kylin-3.0.1-bin-cdh60/lib/kylin-job-3.0.1.jar
kylin.storage.hbase.coprocessor-local-jar=/opt/platform/apache-kylin-3.0.1-bin-cdh60/lib/kylin-coprocessor-3.0.1.jar
kylin.web.timezone=GMT+8

3、检查所配置端口是否被占用,bin目录下kylin.sh start 启动Kylin

4、Kylin操作
参见这里:https://www.rookiegao.top/archives
kylin简介与zeppelin简单整合案例二

二、踩坑笔记
1、Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty

解决:

vim /opt/cloudera/parcels/CDH/lib/hbase/bin/hbase
添加如下:
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH/lib/hbase/lib/*

2、Failed to find metadata store by url: kylin_metadata@hbase
解决:

Kylin版本与CDH版本不匹配

3、java.lang.NoSuchMethodError: org.apache.curator.CuratorZookeeperClient
解决:

Kylin版本与CDH版本不匹配

4、java.net.URISyntaxException: Relative path in absolute URI: hdfs://nameservice1
解决:

Kylin版本与CDH版本不匹配

5、java.lang.RuntimeException: cannot get HiveTableMeta java.lang.ClassCastException:
解决:

kylin找不到hive的相关元数据,把hive-site.xml软链到Kylin的conf下

6、org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$GetContentSummaryRequestProto cannot be cast to org.apache.phoenix.shaded.com.google.protobuf.Message
解决:

在build kylin 的cube时报这个错误,与phoenix有关。
原因是此集群HBase已经整合Phoneix,HBase的相关lib中有Phoenix的依赖包,Kylin又去依赖HBase的相关包,在HBase的lib中删除Phoenix的包即解决。
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值