Kylin 读写分离实战

计算集群： 集群1 （hadoop , hive, ）

存储集群： 集群2   (hadoop, hive ,hbase)

 

需要core-site.xml, hbase-site.xml, hdfs-site.xml, hive-site.xml, mapred-site.xml, yarn-site.xml

hbase-site.xml 从存储集群拷贝

其余的配置文件全是计算集群

两个集群的dfs.nameservices 不能相同

在hdfs-site.xml 配置文件中需要将存储集群的信息加入

<property>
    <name>dfs.nameservices</name>
    <value>ns1,nameservice1</value>
  </property>

<property>
      <name>dfs.client.failover.proxy.provider.nameservice1</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

<property>
    <name>dfs.ha.namenodes.nameservice1</name>
    <value>namenode815,namenode765</value>
  </property>

 <property>
      <name>dfs.namenode.rpc-address.nameservice1.namenode815</name>
      <value>xxx:8020</value>
    </property>
 
    <property>
      <name>dfs.namenode.rpc-address.nameservice1.namenode765</name>
      <value>xxx:8020</value>
    </property>

 <property>
    <name>dfs.ha.automatic-failover.enabled.nameservice1</name>
    <value>true</value>
  </property>

 

Kylin 中的配置文件kylin.properties中一定要将存储集群的hbase信息加入

 

env.sh 脚本export 配置文件的路径

 

source env.sh

可以在存储集群的shell端通过hdfs dfs -ls / 查询计算集群的hdfs路径  

启动kylin

首先需要source env.sh

./kylin.sh start