Kylin Dashboard 功能开启

1.修改Kylin配置文件开启Dashboard功能

修改kylin.properties，并添加如下内容：

kylin.server.query-metrics2-enabled=true 
kylin.metrics.reporter-query-enabled=true 
kylin.metrics.reporter-job-enabled=true 
kylin.metrics.monitor-enabled=true 
kylin.web.dashboard-enabled=true

 

2.建立系统Cube用于监控

特别说明：默认生成的hive元数据表 会新建名为kylin的库存储来存储。如果需要指定，使用

kylin.metrics.prefix=dbname

2.1 生成Metadata

在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。内容如下：

[ [ "org.apache.kylin.tool.metrics.systemcube.util.HiveSinkTool", { "storage_type": 2, "cube_desc_override_properties": [ "java.util.HashMap", { "kylin.cube.algorithm": "INMEM", "kylin.cube.max-building-segments": "1" } ] } ] ]

在 KYLIN_HOME 文件夹下运行一下命令生成相关的 metadata，如下：

./bin/kylin.sh org.apache.kylin.tool.metrics.systemcube.SCCreator \ -inputConfig SCSinkTools.json \ -output ./kylin_metrics

通过这个命令，相关的 metadata 将会生成且其位置位于 <output_forder> 下。细节如下，system_cube 就是我们的 kylin_metrics.

 

2.2 建立数据源

运行下列命令生成 hive 源表：

hive -f kylin_metrics/create_hive_tables_for_system_cubes.sql

2.3 为System Cubes上传 Metadata

然后我们需要通过下列命令上传 metadata 到 hbase：

./bin/metastore.sh restore kylin_metrics

2.4 重载Metadata

最终，我们需要在 Kylin web UI 重载 metadata。

然后，一组系统 Cubes 将会被创建在系统 project 下，称为 “KYLIN_SYSTEM”。

2.5 系统 Cube build

当系统 Cube 被创建，我们需要定期 build Cube。

创建一个 shell 脚本其通过调用 org.apache.kylin.tool.job.CubeBuildingCLI 来 build 系统 Cube

例如:

#!/bin/bash

dir=$(dirname ${0})
export KYLIN_HOME=${dir}/../

CUBE=$1
INTERVAL=$2
DELAY=$3
CURRENT_TIME_IN_SECOND=`date +%s`
CURRENT_TIME=$((CURRENT_TIME_IN_SECOND * 1000))
END_TIME=$((CURRENT_TIME-DELAY))
END=$((END_TIME - END_TIME%INTERVAL))

ID="$END"
echo "building for ${CUBE}_${ID}" >> ${KYLIN_HOME}/logs/build_trace.log
sh ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.job.CubeBuildingCLI --cube ${CUBE} --endTime ${END} > ${KYLIN_HOME}/logs/system_cube_${CUBE}_${END}.log 2>&1 &

然后定期运行这个 shell 脚本。例如，contab -e：

0 */2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_QA 3600000 1200000

20 */2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_CUBE_QA 3600000 1200000

40 */4 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_RPC_QA 3600000 1200000

30 */4 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_JOB_QA 3600000 1200000

50 */12 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_JOB_EXCEPTION_QA 3600000 12000

 

3.参考文件

Kylin Dashboard使用参考：http://kylin.apache.org/cn/docs/tutorial/use_dashboard.html

Kylin 系统Cube建立参考：http://kylin.apache.org/cn/docs/tutorial/setup_systemcube.html