Kylin cube重建

项目场景：

Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。

Kylin 在创建好多维立方体Cube后，底表数据变更更新，需要更新全部Kylin Cube数据，如何批量化重建Cube？

---

解决方案：

以下是shell脚本的方式，一次性执行Cube重建的脚本，可以根据实际需要参考修改。

#!/bin/bash
############################################################################
#脚本名称：all_rebuild_cube.sh
#脚本功能：1.检查cube是否存在build任务 2.检查build任务执行情况 3.创建全量build任务
#脚本参数：cube名称 hostip
#测试脚本：例如：sh all_rebuild_cube.sh cube名称 hostip
#编写作者：
#编写日期：
############################################################################
#修改作者：
#修改日期：
#修改内容：当前kylin存在前缀相同的多个cube，API传入CubeName时，使用的是like
#          overview_check查询的cube非Finished数量有问题，改为使用cube_NoFinished_check
############################################################################

# 传入参数判断
if [ $# -ne 2 ];then
        echo "请输入 1、cube名称  2、hostip  "
        echo "例如：sh all_rebuild_cube.sh cube名称 hostip"
        exit 1
fi

# 定义全局变量
cubeid=$1
hostip=$2

# 执行状态检测函数定义
status_check(){
        sleep 1800
        # 获取状态的命令
        get_status_cmd="curl -X GET -H \"Authorization: Basic QURNSU46S1lMSU4=\" http://${hostip}:7070/kylin/api/jobs/$jobid"
        
        error_count=0
        while true
        do
           rslt_msg=""
           rslt_msg=`echo $get_status_cmd |bash |grep  -oE job_status.*`
           # 未获取到任一执行状态，退出
           echo $rslt_msg|grep -E "ERROR|FINISHED|RUNNING"
           if [ $? -eq 1 ] ;then
              echo  "[INFO][`date +%Y%m%d%H%M%S`]获取$cubeid任务状态失败，jobid=$jobid，程序退出！"
              exit 1 
           fi
           
           # 任务执行ERROR,异常退出
           echo $rslt_msg|grep "ERROR"
           if [ $? -eq 0 ] ;then
              echo  "[ERROR][`date +%Y%m%d%H%M%S`]$build任务执行失败，jobid=$jobid，程序退出！"
              exit 1 
           fi
           # 任务执行FINISHED,正常退出
           echo $rslt_msg|grep "FINISHED"
           if [ $? -eq 0 ] ;then
              echo  "[INFO][`date +%Y%m%d%H%M%S`]$build任务执行成功，jobid=$jobid，程序退出！"
              exit 0 
           fi
           # 任务执行RUNNING,等待60s重新获取任务状态
           echo $rslt_msg|grep "RUNNING"
           if [ $? -eq 0 ] ;then
              echo  "[INFO][`date +%Y%m%d%H%M%S`]$build任务正在执行，jobid=$jobid，60s重新获取任务状态！"
              let error_count++
              
              # 超过重复执行的次数，任务还未执行完成，则程序报错
              if [ $error_count -eq 5 ] ; then
              	echo  "[INFO][`date +%Y%m%d%H%M%S`]重复检查${error_count}次，任务还未执行完成，程序异常退出！"
              	exit 1
              fi
              sleep 900
           fi
        done
}

# cube概要函数定义
# overview_check(){
# 	   # 检查cube存在非FINISHED的作业，则程序退出
# 	   overview=`curl -X GET -H "Authorization: Basic QURNSU46S1lMSU4=" http://${hostip}:7070/kylin/api/jobs/overview?cubeName=${cubeid}`
# 	   echo  "[INFO][`date +%Y%m%d%H%M%S`]${cubeid}任务执行情况概述$overview"
# 	   
# 	   # 定义数组
#      declare -a job_status_arr
# 	  
# 	   # 将overview分割,去除{"}，并按照逗号,分割，存入job_status_arr数组
# 	   # {"PENDING":0,"DISCARDED":0,"ERROR":0,"RUNNING":0,"FINISHED":4,"NEW":0,"STOPPED":0}
#      job_status_arr=($(echo ${overview}|sed -e "s/^[{]*//g"|sed -e "s/[}]*$//g"|sed -e "s/[\"]//g"|sed -e "s/,/\n/g"))
# 
#      #读取每个数组下标的值，当非FINISHED<>0时，提示并退出
#      for var in ${job_status_arr[@]} 
#      do
#      	  # 拆分成状态类型 和 值
#         status_type=${var%:*}
#         status_num=${var#*:}
#         # 当存在状态类型<>FINISHED,且值>0时，程序退出
#         if [[ x"$status_type" != x"FINISHED" && $status_num -gt 0 ]];
#         then
#         	echo  "[ERROR][`date +%Y%m%d%H%M%S`]${cubeid}存在$status_type状态大于0的任务正在执行，作业报错！"
#         	echo  "[ERROR][`date +%Y%m%d%H%M%S`]请到kylin页面Monitor模块,跟进${cubeid}任务执行进展！"
#         	echo  "[ERROR][`date +%Y%m%d%H%M%S`]待${cubeid}任务执行完成后，根据需要对Airflow job处理：1.强制成功；2.重跑！"
#         	exit 1
#         fi
#      done
#      #删除数组
#      unset job_status_arr
# }

# 检查cube是否存在非NoFinished的任务
cube_NoFinished_check(){
	 # 获取like cube所有非Finished的job信息
	 echo "[INFO][`date +%Y%m%d%H%M%S`] 开始获取${cubeid}非Finished状态的任务"
	 cube_NoFinished=`curl -X GET -H "Authorization: Basic QURNSU46S1lMSU4=" "http://${hostip}:7070/kylin/api/jobs?cubeName=${cubeid}&projectName=kylin_zhfx&status=0&status=1&status=2&status=32&status=8&status=16"`
	 # 判断cube是否存在，如果存在则程序报错
	 job_num=`echo ${cube_NoFinished}|grep \"related_cube\":\"${cubeid}\"|wc -l`
	 echo "[INFO][`date +%Y%m%d%H%M%S`] ${cubeid}非Finished状态的任务个数$job_num"
	 if [[ $job_num -gt 0 ]];
	 then
       echo  "[ERROR][`date +%Y%m%d%H%M%S`]${cubeid}存在$job_num个非Finished的任务正在执行，作业报错！"
       echo  "[ERROR][`date +%Y%m%d%H%M%S`]请到kylin页面Monitor模块,跟进${cubeid}任务执行进展！"
       echo  "[ERROR][`date +%Y%m%d%H%M%S`]待${cubeid}任务执行完成后，根据需要对Airflow job处理：1.强制成功；2.重跑！"
       exit 1 
   fi
}
# cube构建函数定义
main_curl_build(){
	
	    # 检查cube存在非FINISHED的作业，则程序退出
	    # overview_check
	    cube_NoFinished_check
	    
	    # 检查cube是否存在
	    
      # 构建cube
      response=`curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"buildType":"BUILD"}' \
      http://${hostip}:7070/kylin/api/cubes/${cubeid}/rebuild`
      
      # 检查cube作业是否构建成功，及开始检查状态
      jobid=""
      jobid=`echo $response |awk -F',' '{print $1}' |grep 'uuid' |awk -F':' '{print $2}' |xargs`
      
	    if [[ x"$jobid" != "x" ]];
	    then
         echo  "[INFO][`date +%Y%m%d%H%M%S`]$cubeid创建build任务成功，jobid=$jobid"
         echo  "[INFO][`date +%Y%m%d%H%M%S`]任务执行状态检测开始执行..."
         # 任务执行状态检测
         status_check
		  else 
		     echo  "[ERROR][`date +%Y%m%d%H%M%S`]$cubeid创建build任务失败，程序退出运行"
		     exit 1
		  fi		
}

# 执行cube构建
main_curl_build