kylin打开Dashboard教程

Dashboard:

为了更好地支持自我监控,在系统项目下创建了一组系统多维数据集,称为“KYLIN_SYSTEM”。系统多维数据集提供给dashboard数据支持。Dashboard提供直观的Cube使用指标,包括每天有多少查询针对多维数据集、 AVG查询延迟、每GB源数据的AVG Cube构建时间。这对于预测即将到来的Cube构建作业的时间成本非常有帮助。Kylin Dashboard显示有用的Cube使用情况统计信息,这对用户非常重要。
开启系统多维数据集在2.5.0版本还没有自带脚本,但是在2.6.2已经自带有脚本了,所以分为两种介绍:

2.6.2版本:

解压之后在bin/目录下有system-cube.sh的脚本,编辑脚本,看是否需要调整hive的执行命令或者修改一些必要配置,诸如定时运行之类的。同时需要在kylin的配置文件kylin/conf/kylin. properties中加入以下参数:
kylin.cube.cubeplanner.enabled=true
kylin.server.query-metrics2-enabled=true
kylin.metrics.reporter-query-enabled=true
kylin.metrics.reporter-job-enabled=true
kylin.metrics.monitor-enabled=true
kylin.web.dashboard-enabled = true
重启kylin
在KYLIN_HOME目录中创建配置文件SCSinkTools.json
[
[
“org.apache.kylin.tool.metrics.systemcube.util.HiveSinkTool”,
{
“storage_type”: 2,
“cube_desc_override_properties”: [
“java.util.HashMap”,
{
“kylin.cube.algorithm”: “INMEM”,
“kylin.cube.max-building-segments”: “1”
}
]
}
]
]
执行脚本./system-cube.sh setup。这一步会建立对应的hive表,将对应的cube导入到matestore里面,重启kylin或者在web页面刷新kylin的元数据即在project可看到KYLIN_SYSTEM。继续执行脚本./system-cube.sh build。执行build命令即可构建五个system_cube,构建完成后即可在web页面中发现dashboard界面,设置定时构建任务:./system-cube.sh cron即可。

2.5.0版本:

①在kylin的配置文件kylin/conf/kylin. properties中加入以下参数:
kylin.cube.cubeplanner.enabled=true
kylin.server.query-metrics2-enabled=true
kylin.metrics.reporter-query-enabled=true
kylin.metrics.reporter-job-enabled=true
kylin.metrics.monitor-enabled=true
kylin.web.dashboard-enabled = true
重启kylin
②在KYLIN_HOME目录中创建配置文件SCSinkTools.json
[
[
“org.apache.kylin.tool.metrics.systemcube.util.HiveSinkTool”,
{
“storage_type”: 2,
“cube_desc_override_properties”: [
“java.util.HashMap”,
{
“kylin.cube.algorithm”: “INMEM”,
“kylin.cube.max-building-segments”: “1”
}
]
}
]
]
③在KYLIN_HOME文件夹中运行以下命令以生成相关元数据:
./bin/kylin.sh org.apache.kylin.tool.metrics.systemcube.SCCreator
-inputConfig SCSinkTools.json
-output system_cube
④运行以下命令以创建源配置hive表:
hive –f system_cube/create_hive_tables_for_system_cubes.sql
此处hive命令可改为对应的hive表执行语句
⑤然后我们需要通过以下命令将元数据上传到hbase:
./bin/metastore.sh restore system_cube
⑥在Kylin Web UI中重新加载元数据,即可在web页面上看到KYLIN_SYSTEM
⑦创建构建脚本bin/ system_cube_build.sh,
通过调用org.apache.kylin.tool.job.CubeBuildingCLI来构建系统Cube
也可以在web页面上直接build对应的cube
#!/bin/bash
dir=$(dirname 0 ) e x p o r t K Y

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值