Zookeeper3.4.10 +Hadoop2.7.7+HBase1.2.11+Hive+Spark2.2.3+Kylin2.6.1+hive1.2.2

记录下Kylin的安装过程和遇到的问题:

根据Kylin官方文档,安装Kylin需要的环境条件如下:

HBase的搭建同时要求了对JDK、Zookeeper、Hadoop的安装,详见上一篇博客,zookeeper的安装如下博客:

https://www.jianshu.com/p/5a4d7390bbfd

需要注意的是,在之后Kylin的安装中,运行启动命令后报错:

说明解析有问题,故在配置HBase的时候注意修改下述地方:把2181去掉。

根据官方文档,最先配置的Hadoop集群版本不适合,最开始配置的是Hadoop2.6.5,因此将其升级。步骤如下:

  1. 下载Hadoop2.7.7的安装包,选择国内源网速较快。将安装包解压后,将原来Hadoop2.6.5的/etc/hadoop下的文件替换到hadoop2.7.7对应位置中;
  2. 修改之前配置好的环境变量;
  3. 不知道怎么回事,直接用start-all.sh等命令时还是调用的Hadoop2.6.5的文件,故选择去到2.7.7的文件下进行格式化、升级NameNode等操作,升级namenode用到的命令如下:sbin/hadoop-daemon.sh start namenode –upgrade
  4. 这些操作结束后只要在指定目录下运行就能调用2.7.7了,至于为什么不能直接全局模式下调用,我也没解决。。
  5. HBase不需要正常修改,只需要正常启动停止就行

由于我先搭建的是HBase集群,而配置Kylin还需要Hive,Hive的配置同样参考该博主的配置过程。因为在虚拟机环境下配置,因此只需要单用户模式的Hive就行了,将其配置在node1下。HBaseMaster在repo上。注意的是JDBC驱动包可以去Mysql网站下载,只需要对应的zip文件并将其解压后导入下文作者指定的目录即可。

https://www.jianshu.com/p/490e9ceb9098

export KYLIN_HOME=/home/hadoop/apps/kylin-2.6.1
export CLASSPATH=$CLASSPATH:$KYLIN_HOME/lib
export PATH=$KYLIN_HOME/bin:$PATH

Kylin的配置是集群模式,repo是all节点,即同时承担master和worker的角色,其余为worker,只负责查询。这是为了实现读写分离。Kylin的初始配置相对简单,网上有很多教程,一般没什么问题。唯一遇到的启动问题已在开头说了,不在赘述。注意还要启动Hadoop的historyserver进程,用mr-jobhistory-daemon.sh文件启动,命令如下:
sbin/mr-jobhistory-daemon.sh start historyserver

另外在启动kylin的时候报错,大致是还需要Spark的意思,故也安装了Spark集群,同样附上参考链接:

export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.7/etc/hadoop

 

至此,Kylin的配置基本结束,设置通过node1的7070端口可以访问web管理界面,初始登录时用户名和密码分别为:ADMIN/KYLIN。

开启流程:

先HBase的流程,然后repo上开启spark,运行start-spark-all.sh,node1上开启historyserver,运行./sbin/mr-jobhistory-daemon.sh start historyserver,再在node1上开启Kylin,$KYLIN_HOME/bin/kylin.sh start

关闭流程:
关闭Kylin:$KYLIN_HOME/bin/kylin.sh stop

关闭Spark:

stop-spark-all.sh

关闭JobHistoryServer

 ./sbin/mr-jobhistory-daemon.sh stop historyserver

kylin的安装还有点问题,参数还没设置,明天再写。。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值