Kylin查询下压的设置、Sparder查询引擎详细介绍、HDFS文件目录含义

文章介绍了查询下压在Kylin中的重要性,开启后能提升查询效率,同时详细说明了Sparder作为Spark应用程序如何处理Kylin查询。此外,讨论了HDFS文件目录的不同用途,如job_tmp用于临时文件,parquet/salary_cube/FULL_BUILD_PMB存储Cuboid,spark_logs保存Spark日志,table_snapshot存放维度表快照。
摘要由CSDN通过智能技术生成

1. 查询下压设置

如果未开启查询下压,则查询有很多限制。这是因为只能查询cube中的数据,而不能通过spark sql查询Hive中的源数据

开启查询下压,优先从cube中查询数据,如果查询不到,则通过spark sql从Hive中进行查询

在kylin.properties中进行开启

.runner-class-name=org.apache.kylin.query.pushdown.PushDownRunnerSparkImpl

可以进行重启kylin服务,或者在每个kylin的Web界面的System-Configuration-Reload Config让配置生效

2. Sparder查询引擎详细介绍

Sparder(SparderContext)是一个一直运行的spark application。Sparder可以接收kylin的查询,进行数据的查询。

Sparder的Spark资源是由kylin.properties中,以kylin.query.spark-conf开头的参数决定的

可以设置在kylin启动的时候,就运行Sparder,kylin.properties参数设置如下:

kylin.query.auto-sparder-context-enabled-enabled=true

3. HDFS文件目录含义

HDFS文件目录
job_tmp:临时文件存储目录
parquet/salary_cube/FULL_BUILD_PMB:Cuboid文件存储目录
spark_logs:Spark运行日志目录
table_snapshot:维度表快照存储目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值