弄清Doris/StarRocks分区partition by和分桶distributed by的区别,以及如何选择对应的字段
选择分区键选择合理的分区键可以有效的裁剪扫描的数据量。目前仅支持分区键的数据类型为日期和整数类型。在实际业务场景中,一般从数据管理的角度选择分区键,常见的分区键为时间或者区域。按照分区键划分数据后,单个分区原始数据量建议不要超过 100 GB。选择分桶键选择高基数的列(例如唯一 ID)来作为分桶键,可以保证数据在各个分桶中尽可能均衡。如果数据倾斜情况严重,您可以使用多个列作为数据的分桶键,但是不建议超过 3 个列。...
转载
2022-08-11 10:53:15 ·
8214 阅读 ·
0 评论