Druid分区方式比较

每个数据源中segments分区规则会对磁盘占用和性能产生重大影响。

三种分区方式:

  • dynamic:摄入速度最快,根据段中的行数进行分区。
  • hashed :摄入速度中等,基于分区dimension的哈希值进行分区,可以减少数据源大小和查询延迟。
  • -single_dim:摄入速度最慢, 根据分区dimension的值进行范围分区,查询速度最快。

在这里插入图片描述

hashed分区参数设置:

  • numShards 指定要创建的分片数。如果已指定intervals和granularitySpec,则索引任务可以跳过确定通过数据的间隔/分区。
  • targetRowsPerSegment 每个分区的目标行数。如果没有指定numShards,Parallel任务将自动确定分区计数量,让每个分区的行数都比较接近,均匀分布。如果numShards和targetRowsPerSegment没有设置,默认每个segments行数500万。
  • partitionDimensions 需要计算哈希值的dimension,默认全部。
  • partitionFunction 默认murmur3_32_abs,计算分区哈希值时使用的函数。

任务开提交后会控制台出现三种类型的任务:
在这里插入图片描述

注意:使用hash分区后Append to existing功能将无法使用

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值