记录下Kylin的安装过程和遇到的问题:
根据Kylin官方文档,安装Kylin需要的环境条件如下:
HBase的搭建同时要求了对JDK、Zookeeper、Hadoop的安装,详见上一篇博客,zookeeper的安装如下博客:
https://www.jianshu.com/p/5a4d7390bbfd
需要注意的是,在之后Kylin的安装中,运行启动命令后报错:
说明解析有问题,故在配置HBase的时候注意修改下述地方:把2181去掉。
根据官方文档,最先配置的Hadoop集群版本不适合,最开始配置的是Hadoop2.6.5,因此将其升级。步骤如下:
- 下载Hadoop2.7.7的安装包,选择国内源网速较快。将安装包解压后,将原来Hadoop2.6.5的/etc/hadoop下的文件替换到hadoop2.7.7对应位置中;
- 修改之前配置好的环境变量;
- 不知道怎么回事,直接用start-all.sh等命令时还是调用的Hadoop2.6.5的文件,故选择去到2.7.7的文件下进行格式化、升级NameNode等操作,升级namenode用到的命令如下:sbin/hadoop-daemon.sh start namenode –upgrade
- 这些操作结束后只要在指定目录下运行就能调用2.7.7了,至于为什么不能直接全局模式下调用,我也没解决。。
- HBase不需要正常修改,只需要正常启动停止就行
由于我先搭建的是HBase集群,而配置Kylin还需要Hive,Hive的配置同样参考该博主的配置过程。因为在虚拟机环境下配置,因此只需要单用户模式的Hive就行了,将其配置在node1下。HBaseMaster在repo上。注意的是JDBC驱动包可以去Mysql网站下载,只需要对应的zip文件并将其解压后导入下文作者指定的目录即可。
https://www.jianshu.com/p/490e9ceb9098
export KYLIN_HOME=/home/hadoop/apps/kylin-2.6.1
export CLASSPATH=$CLASSPATH:$KYLIN_HOME/lib
export PATH=$KYLIN_HOME/bin:$PATH
Kylin的配置是集群模式,repo是all节点,即同时承担master和worker的角色,其余为worker,只负责查询。这是为了实现读写分离。Kylin的初始配置相对简单,网上有很多教程,一般没什么问题。唯一遇到的启动问题已在开头说了,不在赘述。注意还要启动Hadoop的historyserver进程,用mr-jobhistory-daemon.sh文件启动,命令如下:
sbin/mr-jobhistory-daemon.sh start historyserver
另外在启动kylin的时候报错,大致是还需要Spark的意思,故也安装了Spark集群,同样附上参考链接:
export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.7/etc/hadoop
至此,Kylin的配置基本结束,设置通过node1的7070端口可以访问web管理界面,初始登录时用户名和密码分别为:ADMIN/KYLIN。
开启流程:
先HBase的流程,然后repo上开启spark,运行start-spark-all.sh,node1上开启historyserver,运行./sbin/mr-jobhistory-daemon.sh start historyserver,再在node1上开启Kylin,$KYLIN_HOME/bin/kylin.sh start
关闭流程:
关闭Kylin:$KYLIN_HOME/bin/kylin.sh stop
关闭Spark:
stop-spark-all.sh
关闭JobHistoryServer
./sbin/mr-jobhistory-daemon.sh stop historyserver
kylin的安装还有点问题,参数还没设置,明天再写。。