Kylin - 02 Kylin集群安装部署

修改Kylin对应的Hbase版本

Kylin 2.5.0 Hbase 1.3.5

hbase-env.sh修改

vim hbase-env.sh

修改jdk版本

注释jdk差异代码

关闭自动zookeeper自动管理

修改hbase-site.xml

vim hbase-site.xml

按之前版本配置

可直接拷贝hdfs-site.xml

cp /opt/sxt/hbase-0.98.12.1/conf/hdfs-site.xml /root/hbase-1.3.5/conf/

注意可能因为有端口而报错:

修改 regionservers

vim regionservers

移动到指定目录

mv hbase-1.3.5 /opt/sxt/

删除zookeeper和hadoop上面的hbase数据

因为需要删除zookeeper和hadoop上面的hbase数据

zookeeper

启动3台zookeeper

zkServer.sh start

查看3台状态

zkServer.sh status

在zookeeper的Master上启动zookerper客户端

zkCli.sh

查看文件

ls /

删除hbase数据

rmr /hbase

hadoop

开启hadoop(节点1上)

start-dfs.sh

可查看hadoop节点网页
bd1301:50070

删除hbase数据

hdfs dfs -rmr /hbase

刷新网页确认删除

拷贝hbase目录到bd1302(节点2) bd1303(节点3)

scp -r hbase-1.3.5/ bd1302:`pwd`
scp -r hbase-1.3.5/ bd1303:`pwd`
--注意是~下面的符号

安装Kylin

这里配置在节点2上了
只有节点1和节点2有hive

基本操作

解压kylintar包

tar zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz

修改目录名并移到到指定位置

mv apache-kylin-2.5.0-bin-hbase1x kylin
mv kylin /opt/sxt/

配置kylin读取的相关环境变量

vim /etc/profile

添加&修改的参数

export HIVE_HOME=/opt/sxt/hive-1.2.1
export HBASE_HOME=/opt/sxt/hbase-1.3.5
export HIVE_CONF_HOME=$HIVE_HOME/conf 
export HCAT_HOME=$HIVE_HOME/hcatalog 
export HADOOP_CONF_DIR=/opt/sxt/hadoop-2.6.5/etc/hadoop
export PATH=$HCAT_HOME/bin:$PATH
export KYLIN_HOME=/opt/sxt/kylin 
export PATH=$HIVE_HOME/bin:$PATH
export PATH=$KYLIN_HOME/bin:$PATH

以下面示例为准:

拷贝环境变量到节点2 3

scp profile bd1302:`pwd`
scp profile bd1303:`pwd`

因为环境变量的追加问题
直接使用source profile还是之前的hbase版本
echo $PATH ----- 查看环境变量
我们可以重新登陆 或者 重启虚拟机
exit退出
重新登陆

测试

开启hbase
start-hbase.sh

bd1301:16010 访问节点1的hbase主页

配置kylin.properties（单节点时这一步可以忽略掉）

vim kylin.properties

#配置节点类型（kylin节点模式分为all、query(查询模式)、job（任务构建模式））

#kylin集群节点配置 （这里选一台）

Kyli启动

使用kylin的前提是，kylin要有操作所有东西的权限，hdfs读写权限，hive创建表权限，各种权限，这里直接用root用户操作

1.启动zookeeper

zkServer.sh start

2.hadoop集群启动

(hadoop 和 yarn)

start-all.sh

启动jobhistory:

如果配置了可以启动
启动命令:
因为配置在节点2上所以在节点2上启动

mr-jobhistory-daemon.sh start historyserver

MR的历史任务日志配置参数如下：
在mapred-site.xml中添加

<property>
<name>mapreduce.jobhistory.address</name>
<value>bd1302:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bd1302:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<!---  正在运行的任务信息临时目录 -->
<property>
<name>mapreudce.jobhistory.intermediate.done-dir</name>
<value>/history/done/done_intermediate</value>
</property>

在yarn-site.xml中添加

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

3.hbase集群启动

start-hbase.sh

刚才配置环境变量测试启动过了

4.hive启动

service mysqld start

注意:这里要看之前设置的mysql启动方式
(mysql存储了hive的元数据)

所有的依赖就算开启完毕了，可以通过check-env.sh进行检查。

check-env.sh

确认无误后kylin.sh start 启动kylin服务。通过ip:7070/kylin的url地址进行访问。默认的用户名和密码为ADMIN和KYLIN

kylin.sh start

注意：查看kylin.log时若有如下错误：
[Thread-10] curator.ConnectionState:201 : Connection timed out for connection string (bd1301:2181:2181,bd1302:2181:2181,bd1303:2181:2181) and timeout (15000) / elapsed (57045)
org.apache.curator.CuratorConnectionLossException: KeeperErrorCode = ConnectionLoss
这是由于：读取的是配置文件hbase-site.xml的hbase.zookeeper.quorum，该项只需配置Host不需要配置端口号Port，改回来之后重启hbase就好了.

vim /opt/sxt/hbase-1.3.5/conf/hbase-site.xml

测试

查看kylin主页:

http://bd1302:7070/kylin


测试链接博客

注意节点差异