kylin深度优化

  1. 任务引擎高可用

从 v2.0 开始, Kylin 支持多个任务引擎一起运行,相比于默认单任务引擎的配置,多引擎可以保证任务构建的高可用。

使用多任务引擎,你可以在多个 Kylin 节点上配置它的角色为 job 或 all

kylin.job.scheduler.default=2

kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock

kylin.server.mode=all

配置Kylin节点的运行模式kylin.server.mode,参数值可选 all, job, query 中的一个。

job 模式代表该服务仅用于任务调度,不用于查询;query 模式代表该服务仅用于查询,不用于构建任务的调度;all 模式代表该服务同时用于任务调度和 SQL 查询。

默认情况下只有一个实例用于构建任务的调度 (即 kylin.server.mode 设置为 all 或者 job 模式。

 

2、提升map的数量,该值越小map的数量越大(默认值1000000)

kylin.job.mapreduce.mapper.input.rows=100000

重新分发中间表的过程,Kylin计算出中间表的行数,然后基于行数的大小算出重新分发数据需要的文件数。默认情况下,Kylin为每一百万行分配一个文件。在接下来对这张表进行的MR步骤里,Hadoop会启动和文件相同数量的mapper来处理数据,如果数据量没有这么大或者想要更多的并发数,这时可以将kylin.job.mapreduce.mapper.input.rows设为小一点。

 

3、增加reduce的数量,该值越小reduce的数量越大

kylin.job.mapreduce.default.reduce.input.mb=100

 

4、用尽可能多的内存来缓存数据以获得更好的性能

<property>

    <name>mapreduce.map.memory.mb</name>

    <value>6144</value>

    <description></description>

</property>

<property>

    <name>mapreduce.map.java.opts</name>

    <value>-Xmx5632m</value>

    <description></description>

</property>

 

构建cube,“逐片”构建(也称为“内存”构建)。它会使用一轮MR来计算所有的cuboids,但是比通常情况下更耗内存。配置文件”conf/kylin_job_inmem.xml”正是为这步而设。默认情况下它为每个mapper申请3GB内存。如果集群有充足的内存,可以在上述配置文件中分配更多内存给mapper。

 

5、提升kylin job的同时运行个数

kylin.job.max-concurrent-jobs=50

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值