Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)

全文请看：https://blog.csdn.net/tktttt/article/details/108578804
大数据集群搭建安装包：https://download.csdn.net/download/tktttt/12879318
大数据集群搭建安装包2：https://download.csdn.net/download/tktttt/12879355

八、Kylin搭建

1.安装

下载相应适配版本的安装包：官网地址
上传到新建文件目录/usr/local/kylin下，并解压：

tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz

2.配置环境变量

vi /etc/profile
#加入以下内容
export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x
#path后添加
export PATH=$PATH:$KYLIN_HOME/bin

使之生效：source /etc/profile

3.配置kylin

检查运行环境：

Kylin 运行在 Hadoop 集群上，对各个组件的版本、访问权限及 CLASSPATH 等都有一定的要求，为了避免遇到各种环境问题，您可以运行 $KYLIN_HOME/bin/check-env.sh脚本来进行环境检测，如果您的环境存在任何的问题，脚本将打印出详细报错信息。如果没有报错信息，代表您的环境适合 Kylin 运行（此段来自kylin官网文档）
若有问题，则按日志输出解决即可，按前文一步步来是没问题的，若出现问题，请回顾前文比对哪里有误。

HDFS 目录结构：

Kylin 会在 HDFS 上生成文件，根目录是 “/kylin/”, 然后会使用 Kylin 集群的元数据表名作为第二层目录名，默认为 “kylin_metadata” (可以在conf/kylin.properties中定制).
通常, /kylin/kylin_metadata 目录下会有这么几种子目录：cardinality, coprocessor, kylin-job_id, resources, jdbc-resources.

1. cardinality: Kylin 加载 Hive 表时，会启动一个 MR 任务来计算各个列的基数，输出结果会暂存在此目录。此目录可以安全清除。
2. coprocessor: Kylin 用于存放 HBase coprocessor jar 的目录；请勿删除。
3. kylin-job_id: Cube 计算过程的数据存储目录，请勿删除。 如需要清理，请遵循 storage cleanup guide.
4. resources: Kylin 默认会将元数据存放在 HBase，但对于太大的文件（如字典或快照），会转存到 HDFS 的该目录下，请勿删除。如需要清理，请遵循 cleanup resources from metadata
5. jdbc-resources：性质同上，只在使用 MySQL 做元数据存储时候出现。

（此部分来自kylin官方文档，想详细了解的见官网）

部署 Kylin：

kylin.env.hdfs-working-dir：指定 Kylin 服务所用的 HDFS 路径，默认值为 /kylin，请确保启动 Kylin 实例的用户有读写该目录的权限
kylin.env：指定 Kylin 部署的用途，参数值可选 DEV，QA， PROD，默认值为 DEV，在 DEV 模式下一些开发者功能将被启用
kylin.env.zookeeper-base-path：指定 Kylin 服务所用的 ZooKeeper 路径，默认值为 /kylin
kylin.env.zookeeper-connect-string：指定 ZooKeeper 连接字符串，如果为空，使用 HBase 的 ZooKeeper
kylin.env.hadoop-conf-dir：指定 Hadoop 配置文件目录，如果不指定的话，获取环境中的 HADOOP_CONF_DIR
kylin.server.mode：指定 Kylin 实例的运行模式，参数值可选 all， job， query，默认值为 all，job 模式代表该服务仅用于任务调度，不用于查询；query 模式代表该服务仅用于查询，不用于构建任务的调度；all 模式代表该服务同时用于任务调度和 SQL 查询。
kylin.server.cluster-name：指定集群名称
（以上部分来自官网文档）详情：见此处

4.启动使用

使用 Kylin：
Kylin 启动后您可以通过浏览器 http://<hostname>:7070/kylin进行访问。
其中 <hostname>为具体的机器名、IP 地址或域名，默认端口为 7070。
初始用户名和密码是 ADMIN/KYLIN。
服务器启动后，您可以通过查看 $KYLIN_HOME/logs/kylin.log 获得运行时日志。

停止 Kylin：
运行 $KYLIN_HOME/bin/kylin.sh stop 脚本来停止 Kylin，界面输出如下：

Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apache-kylin-2.5.0-bin-hbase1x
Stopping Kylin: 25964
Stopping in progress. Will check after 2 secs again...
Kylin with pid 25964 has been stopped.

您可以运行ps -ef | grep kylin来查看 Kylin 进程是否已停止。
（以上部分来自官方文档）

启动集群：
启动顺序：

1、启动zookeeper
./zkServer.sh start
2、启动journalnode
hadoop-daemon.sh start journalnode
3、启动HDFS
./start-dfs.sh
4、启动YARN集群
./start-yarn.sh
5、启动HBase集群
./start-hbase.sh
6、启动 metastore
nohup hive --service metastore &
#或者
nohup hive --service metastore >/usr/data/hive/log/metastore/metastore.log &
7、启动 hiverserver2
nohup hive --service hiveserver2 &
或者
nohup hive --service hiveserver2 >/usr/data/hive/log/hiveserver2/hiveserver.log &
8、启动Yarn history server
mr-jobhistory-daemon.sh start historyserver
9、启动spark history server【可选，本文未装spark】
sbin/start-history-server.sh 
10、启动kylin
./kylin.sh start

登录Kylin：

http://node:7070/kylin
url	http://IP:7070/kylin
默认用户名：ADMIN
默认密码：KYLIN

使用：

参考另一位博主的文章：此处

为何不运行kylin自带的demo，因为虚拟机配置不够，运行耗时太长，因而最好用前文hive中自行建立的数据库与数据表等数据

5.问题

在上面使用过程中，可能遇到：

1.web页面中kylin在build报错10020拒绝链接错误
报错信息：

org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:173)
    at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)

解决方法：修改Hadoop配置文件mapred-site.xml

cd /usr/local/hadoop/hadoop-2.7.4/etc/hadoop
vi mapred-site.xml

加入如下内容：

		<!-- 配置 MapReduce JobHistory Server 地址,默认端口10020 -->
   	 	<property>
        	<name>mapreduce.jobhistory.address</name>
        	<value>192.168.88.129:10020</value>
    	</property>
    	<!-- 配置 MapReduce JobHistory Server web ui 地址,默认端口19888 -->
    	<property>
    	    <name>mapreduce.jobhistory.webapp.address</name>
        	<value>192.168.88.129:19888</value>
    	</property>

并停止kylin，在主节点上启动jobhistory：

mr-jobhistory-daemon.sh start historyserver

再重新启动kylin，并重新运行程序，运行成功

2.其他问题：
笔者未遇到，这里放两篇其他博主的参考文章：
Kylin常见错误及解决方法
kylin安装问题记录

全文列出的参考文章，仅为提供方便，若有侵犯，请联系删除