CDH中 Apache Kylin使用spark引擎构建Cube

简介

    Kylin v2.0引入了Spark引擎，可以在构建Cube步骤中替换MapReduce，目前还是beta版本，以下是配置步骤。

配置步骤

    1.在kylin的安装目录下，新建目录hadoop_conf

          

  mkdir  $KYLIN_HOME/hadoop_conf

    

    2.将core-site.xml，hdfs-site.xml,hbase-site.xml,hive-site.xml,yarn-site.xml 5个配置文件放入刚才建立的目录。

     （如果使用的是Apache的Hadoop，hbase，hive等，去配置文件目录复制或者建立软连接，我使用的是CDH管理集群，那么配置文件 就在/etc/hadoop/conf,/etc/hive/conf,/etc/hbase/conf路径下，直接复制过去）

    cp /etc/hadoop/conf/hdfs-site.xml    $KYLIN_HOME/hadoop_conf

    cp /etc/hadoop/conf/yarn-site.xml    $KYLIN_HOME/hadoop_conf

    cp /etc/hadoop/conf/core-site.xml    $KYLIN_HOME/hadoop_conf

    cp /etc/hbase/conf/hdfs-site.xml    $KYLIN_HOME/hadoop_conf

    cp /etc/hive/conf/hdfs-site.xml    $KYLIN_HOME/hadoop_conf

        

    3.修改kylin.properties，添加以下配置（这里写 hadoop-conf的全路径，路径根据自己hadoo_conf目录所在位置决定 ）

    kylin.env.hadoop-conf-dir=/opt/apache-kylin-2.1.0-bin-cdh57/hadoop_conf

            4.重启kylin

     

   bin/kylin.sh  stop

   bin/kylin.sh  start

        注：1.如果直接使用bin/kylin.sh restart重启，有可能配置会不生效，我就遇到了，用上面的方式重启就没问题

               2.在kylin的web页面上，有system选项卡，里面有reload   config，本来我以为修改配置文件后可以点击此按钮，不用重启，但是实验证明这样配置也无法生效。所以保险的方法就是按照上面的方式重启。

    

    5.下面是官方，关于配置spark引擎的文档，给出链接以便查阅

                 http://kylin.apache.org/docs20/tutorial/cube_spark.html