数据分库表扩容-数据不均匀问题

假如前期分三个库,一个库两个表,项目火爆,数据量激增,进行扩容
增加了新的数据库表位,会导致旧的库表比新的库表数据量多,且容易出现超载情况

解决方式思想:

 不同的库表位分配的概率不一样,性能好的机器和数据量少的机器提高分配几率,类似的中间件应用场景有nginx

类似这种:

Nginx常见的负载均衡策略

节点轮询(默认)
weight 权重配置
    简介:weight和访问比率成正比,数字越大,分配得到的流量越高
    场景:服务器性能差异大的情况使用

upstream lbs {
        server 192.168.159.133:8080 weight=5;
        server 192.168.159.133:8081 weight=10;
}

在分库表中的加权解决方式,目前想到的几种方案:

库表位可以使用对象形式,配置权重,避免数据倾斜、数据集中(思考中...)
编写算法,根据不同的,配置权重,不同的库表位配置不同的权重(思考中...)
加权配置,list重复添加出现的高频的库表位(更改速度最快)

例如:dbPrefixList.add("0"); dbPrefixList.add("1"); dbPrefixList.add("a");

这三个库是第一批增加的,已经到了900多万单表量。现在准备进行扩容,那么实现方式如下:

扩容库位b,c,d

 

  /**
     * 获取随机的前缀
     * @return
     */
    public static String getRandomDBPrefix(){
        int index = random.nextInt(dbPrefixList.size());
        return dbPrefixList.get(index);
    }

这样在获取随机库位的时候,0,1,a获取到的概率会低点,相对进入的数据就会少些。更多数据会进入到b ,c,d中进行平衡。
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值