Doris中tablet节点分布不均匀问题

问题描述

Doris 集群有3个 BE 和1个 FE 节点，一个机器上同时部署了 FE 和 BE 。在 Doris 中创建一张表，这张表默认就一个分区，按照“车牌号”字段做分桶，默认桶副本数为3。理论上来说每个 Doris 节点上 tablet 数量应该差不多，但现在发现 FE 所在节点上的 tablet  数量特别少，差异非常大。

可能原因

doris tablet 在节点上的分布与如下因素有关：
1.表的分区和分桶有关。
2.节点处理能力、存储容量、磁盘使用率有关。

问题描述中表只有一个分区，分桶默认也是按照字段的hash值进行，字段并且没有倾斜情况，所以第一点因素导致tablet分布不均概率较小。

下面再介绍下 Doris 中 tablet  均衡策略：

Doris 会自动进行集群内的副本均衡。目前支持两种均衡策略，负载/分区。负载均衡适合需要兼顾节点磁盘使用率和节点副本数量的场景；而分区均衡会使每个分区的副本都均匀分布在各个节点，避免热点，适合对分区读写要求比较高的场景。但是，分区均衡不考虑磁盘使用率，使用分区均衡时需要注意磁盘的使用情况。 策略只能在fe启动前配置tablet_rebalancer_type ，不支持运行时切换

负载均衡​

负载均衡的主要思想是，对某些分片，先在低负载的节点上创建一个副本，然后再删除这些分片在高负载节点上的副本。同时，因为不同存储介质的存在，在同一个集群内的不同 BE 节点上，可能存在一种或两种存储介质。我们要求存储介质为 A 的分片在均衡后，尽量依然存储在存储介质 A 中。所以我们根据存储介质，对集群的 BE 节点进行划分。然后针对不同的存储介质的 BE 节点集合，进行负载均衡调度。

同样，副本均衡会保证不会将同一个 Tablet 的副本部署在同一个 host 的 BE 上。

BE 节点负载​

我们用 ClusterLoadStatistics（CLS）表示一个 cluster 中各个 Backend 的负载均衡情况。TabletScheduler 根据这个统计值，来触发集群均衡。我们当前通过 磁盘使用率 和 副本数量 两个指标，为每个BE计算一个 loadScore，作为 BE 的负载分数。分数越高，表示该 BE 的负载越重。

磁盘使用率和副本数量各有一个权重系数，分别为 capacityCoefficient 和 replicaNumCoefficient，其 和衡为1。其中 capacityCoefficient 会根据实际磁盘使用率动态调整。当一个 BE 的总体磁盘使用率在 50% 以下，则 capacityCoefficient 值为 0.5，如果磁盘使用率在 75%（可通过 FE 配置项 capacity_used_percent_high_water 配置）以上，则值为 1。如果使用率介于 50% ~ 75% 之间，则该权重系数平滑增加，公式为：

capacityCoefficient= 2 * 磁盘使用率 - 0.5

该权重系数保证当磁盘使用率过高时，该 Backend 的负载分数会更高，以保证尽快降低这个 BE 的负载。

TabletScheduler 会每隔 20s 更新一次 CLS。

分区均衡​

分区均衡的主要思想是，将每个分区的在各个 Backend 上的 replica 数量差（即 partition skew），减少到最小。因此只考虑副本个数，不考虑磁盘使用率。 为了尽量少的迁移次数，分区均衡使用二维贪心的策略，优先均衡partition skew最大的分区，均衡分区时会尽量选择，可以使整个 cluster 的在各个 Backend 上的 replica 数量差（即 cluster skew/total skew）减少的方向。

skew 统计​

skew 统计信息由ClusterBalanceInfo表示，其中，partitionInfoBySkew以 partition skew 为key排序，便于找到max partition skew；beByTotalReplicaCount则是以 Backend 上的所有 replica 个数为key排序。ClusterBalanceInfo同样保持在CLS中, 同样 20s 更新一次。

max partition skew 的分区可能有多个，采用随机的方式选择一个分区计算。

均衡策略​

TabletScheduler 在每轮调度时，都会通过 LoadBalancer 来选择一定数目的健康分片作为 balance 的候选分片。在下一次调度时，会尝试根据这些候选分片，进行均衡调度。

所以以上问题原因在于：Doris中如果 FE 和 BE 混部，会存在资源竞争问题，也就是混布的节点可能负载高、磁盘利用率高导致tablet分布少。
 

---