KYLIN3.1.0搭建

环境

各种服务的版本是重点

Hadoop3.2.0

使用版本hadoop-3.2.0,使用的包hadoop-3.2.0.tar.gz。
搭建参考Hadoop搭建参考 伪分布式安装

Hive-3.1.2

1.使用版本Hive-3.1.2，使用的包apache-hive-3.1.2-bin.tar.gz
2.搭建参考hive搭建参考
注意文章里面插入的property，要注释掉原来相应的property
修改配置

<property>
  <name>hive.exec.local.scratchdir</name>
    <value>$HIVE_HOME/iotmp</value>
    <description>Local scratch space for Hive jobs</description>
</property>

<property>
   <name>hive.querylog.location</name>
    <value>$HIVE_HOME/iotmp</value>
    <description>Location of Hive run time structured log file</description>
 </property>

 <property>
   <name>hive.downloaded.resources.dir</name>
    <value>$HIVE_HOME/iotmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
 </property>

3.删除lib目录下的log4j-slf4j-impl-2.10.0.jar，不然kylin不出日志。加入 mysql-connector-java-5.1.49.jar

Hbase-1.6.0

使用版本Hbase-1.6.0,使用的包hbase-1.6.0-bin.tar.gz。
搭建参考hbase搭建参考

Spark-3.0.2

使用版本spark-3.0.2,使用的包spark-3.0.2-bin-hadoop3.2.tgz。
搭建参考spark搭建参考
scala版本：scala-2.11.12.tgz

Kylin-3.1.0

使用版本Kylin-3.1.0,使用的包apache-kylin-3.1.0-bin-hbase1x.tar.gz。
搭建参考kylin搭建
可能出现的问题：datatype.jsr310.JavaTimeModule cannot be cast to com

问题1
Constructor threw exception; nested exception is java.lang.ClassCastException: com.fasterxml.jackson.datatype.jsr310.JavaTimeModule cannot be
cast to com.fasterxml.jackson.databind.Module
解决办法：
1.vim kylin家目录/bin/find-hive-dependency.sh 153行
 hive_lib=`find -L ${hive_lib_dir} -name '*.jar' ! -name '*jackson*' ! -name '*druid*' ! -name '*slf4j*' ! -name '*avatica*' ! -name '*calcite*' ! -name '*jackson-datatype-joda*' ! -name '*derby*' -printf '%p:' | sed 's/:$//'`

2.vim kylin家目录/bin/find-spark-dependency.sh 38行
spark_dependency=`find -L $spark_home/jars -name '*.jar' ! -name '*jackson*' ! -name '*slf4j*' ! -name '*calcite*' ! -name '*doc*' ! -name '*test*' ! -name '*sources*' ''-printf '%p:' | sed 's/:$//'`

启动

Hadoop启动
/sbin/hadoop-daemon.sh start namenode
/sbin/hadoop-daemon.sh start datanode
/sbin/hadoop-daemon.sh start secondarynamenode
Hbase启动
bin]# sh start-hbase.sh
spark启动
sbin]# sh start-master.sh
kylin启动
bin]# kylin.sh start
防火墙
systemctl start firewalld
systemctl stop firewalld
systemctl status firewalld
注意关闭防火墙

etc/profile配置

#java
export JAVA_HOME=/opt/my-software/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

export HADOOP_HOME=/opt/my-software/hadoop-3.2.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HBASE_HOME=/opt/my-software/hbase-1.6.0
export PATH=$PATH:$HBASE_HOME/bin:/$HBASE_HOME/sbin

export HIVE_HOME=/opt/my-software/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

export SCALA_HOME=/opt/my-software/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin

export SPARK_HOME=/opt/my-software/spark-3.0.2
export PATH=$PATH:$SPARK_HOME/bin

export KYLIN_HOME=/opt/my-software/apache-kylin-3.1.0
export PATH=$PATH:$KYLIN_HOME/bin

#export ZOOKEEPER_HOME=/opt/my-software/apache-zookeeper-3.6.0
#export PATH=$PATH:$ZOOKEEPER_HOME/bin