Kylin安装工作

Kylin 大数据OLAP引擎

Kylin简介

Kylin的诞生背景

• Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目
• Hive的性能比较慢，支持SQL灵活查询，特别慢
• HBase的性能快，原生不支持SQL - phoenix:可以写sql语句来查询hbase!!
• Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高

Kylin的应用场景

Kylin 典型的应用场景如下：

• 用户数据存在于Hadoop HDFS中，利用Hive将HDFS文件数据以关系数据方式存取，数据量巨大，在500G以上
• 每天有数G甚至数十G的数据增量导入
• 有10个以内较为固定的分析维度

Kylin 的核心思想是利用空间换时间，在数据 ETL 导入 OLAP 引擎时提前计算各维度的聚合结果并持久化保存

为什么要使用Kylin

Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统，是 ebay 大数据部门从2014 年开始研发的支持 TB 到 PB 级别数据量的分布式 Olap 分析引擎。其特点包括:

• 可扩展的超快的 OLAP 引擎
• 提供 ANSI-SQL 接口
• 交互式查询能力
• MOLAP Cube 的概念
  与 BI 工具可无缝整合

Kylin的总体架构

• Kylin 依赖于 Hadoop、Hive、Zookeeper 和 Hbase
  

Kylin安装

依赖环境

集群规划

注意：

• kylin-2.6.3-bin-hbase1x所依赖的hbase为1.1.1版本
• 要求hbase的hbase.zookeeper.quorum值必须只能是host1,host2,…。不允许出现host:2181,…

安装Apache Hbase 1.1.1

整体步骤：

1. 下载hbase 1.1.1版本
2. 上传到一台服务器，解压缩
3. 修改hbase-env.sh
4. 修改hbase-site.xml
5. 修改regionservers
6. 在hbase conf目录中创建core-site.xml和hdfs-site.xml软连接
7. 配置HBase环境变量
8. 分发安装包到其他节点
9. 分发/etc/profile文件到其他节点
10. 重新加载环境变量

具体操作步骤：
1.下载hbase 1.1.1版本

2.上传到一台服务器，解压缩

 tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/

3.修改hbase-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141/
export HBASE_MANAGES_ZK=false

4.修改hbase-site.xml，添加以下配置

注意：

• 修改HDFS NameNode节点名称
• 修改zookeeper服务器名称
• 修改zookeeper数据目录位置

 <configuration>
          <property>
                  <name>hbase.rootdir</name>
                  <value>hdfs://node01:8020/hbase_1.1.1</value>
          </property>
  
          <property>
                  <name>hbase.cluster.distributed</name>
                  <value>true</value>
          </property>
  
          <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
          <property>
                  <name>hbase.master.port</name>
                  <value>16000</value>
          </property>
          <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
        <property>
                <name>hbase.master.info.port</name>
                <value>60010</value>
        </property>
          <property>
                  <name>hbase.zookeeper.quorum</name>
                  <value>node01,node02,node03</value>
          </property>
  
          <property>
          	<name>hbase.zookeeper.property.dataDir</name>
           	<value>/export/servers/zookeeper-3.4.9/zkdata</value>
          </property>
        <property>
                  <name>hbase.thrift.support.proxyuser</name>
                  <value>true</value>
        </property>
        <property>
                  <name>hbase.regionserver.thrift.http</name>
                  <value>true</value>
        </property>
  </configuration>

5.修改regionservers，添加其他的节点

node01

6.在hbase conf目录中创建core-site.xml和hdfs-site.xml软连接

 ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml $PWD/core-site.xml
 ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml $PWD/hdfs-site.xml
  
#  可以选择直接拷贝
  cp /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml .
  cp /export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml .

8.配置HBase环境变量

  # Apache HBase 1.1.1
  export HBASE_HOME=/export/servers/hbase-1.1.1
  export PATH=$HADOOP/sbin:$HADOOP/bin:$HBASE_HOME/bin:$PATH

刷新环境变量

   source /etc/profile

9.使用 zkCli 删除之前的 hbase 节点

# 进入到 zkCli中
/export/servers/zookeeper-3.4.9/bin/zkCli.sh
# 执行删除
rmr /hbase

启动

1. 启动ZooKeeper
2. 启动HDFS
3. 启动HBase

bin/start-hbase.sh

4.进入hbase shell

hbase shell

执行上述操作，执行list命令，如果能显示以下内容，表示安装成功。

hbase(main):002:0> list
TABLE                                                                                                                  
0 row(s) in 0.1380 seconds

=> []

安装kylin-2.6.3-bin-hbase1x

## 解压apache-kylin-2.6.3-bin-hbase1x.tar.gz
tar -zxf /export/softwares/apache-kylin-2.6.3-bin-hbase1x.tar.gz -C /export/servers/

增加kylin依赖组件的配置

/export/servers/apache-kylin-2.6.3-bin-hbase1x/conf
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xml
ln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml
ln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf

配置kylin.sh

/export/install/apache-kylin-2.6.3-bin-hbase1x/bin
vim kylin.sh

kylin.sh文件添加如下内容：

export HADOOP_HOME=/export/install/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/install/hive-1.1.0-cdh5.14.0
export HBASE_HOME=/export/install/hbase-1.1.1
export SPARK_HOME=/export/install/spark-2.2.0-bin-2.6.0-cdh5.14.0

配置conf/kylin.properties

初始化kylin在hdfs上的数据路径

hadoop fs -mkdir -p /apps/kylin

启动集群
1、启动zookeeper
2、启动HDFS
3、启动YARN集群
4、启动HBase集群
5、启动 metastore

nohup hive --service metastore &

6、启动 hiverserver2

nohup hive --service hiveserver2 &

7、启动Yarn history server

mr-jobhistory-daemon.sh start historyserver

8、启动spark history server【可选】

sbin/start-history-server.sh 

7、启动kylin

./kylin.sh start

看到下面的效果图，说明我们的kylin已经启动成功了

7、登录Kylin
http://node1:7070/kylin

• 用户名和密码都必须是大写