Mycat范围求模分片(2)

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门,即可获取!

  • 业务为统计类业务,都是基于某一段时间内,然后对某一集团内的门店进行数据统计。

  • 数据规模较大,以一个集团,500个门店,主表,每天1000条数据计算的话,一天是50万条,一个月就是150万条数据。半年单表数据量为900万条。由于分为淡  旺季,故连续半年的数据量,不会超过1000万条数据。

结合系统的特点,提出如下两个重要观点。

  1. 该系统的组织结构涉及集团与门店两个层级,当然不排除集团下面还有集团,在我认为,集团下面的集团,与门店概念一致,总的说来,就是顶层集团—》门店概念。个 人认为,集团与集团的数据最好应该做到逻辑、物理的隔离性。

  2. 数据库分片的目的,就是要将数据较为均匀的分配到不同的节点,将查询请求分散到多个节点执行,然后汇聚,充分利用多台Mysql服务器(CPU)的运算能力提高查询的 效率;同时既然需要分片,说明单库的数据量肯定不少,未来的扩容必不可少。

根据上文提到的两个重要观点,现提出如下解决方案:

  • 尽量做到逻辑,物理的相对隔离。我建议按照集团来组织数据,可以为每个集团,单独创建一个数据库用户,然后再在该用户下创建数据库(也就是scheme),这里的 schema也就是后面Mycat分片中的DataNode。这样存储主要基于如下几点考虑:

  • 管理方便,如果是一个用户的话,会看到很多的逻辑schema。

  • 每个门店的规模、特点相差太多,统一管理需要考虑太多的要素,不如分而治之,根据不同的集团,制定不同的分库,存储规则,灵活性较大,适应变化的需求的能力较强。

  • 根据这个系统的特点,每个集团下的数据分片,考虑的应该就是数据分布均匀,增加分片后,数据迁移是考虑的重点,并且该系统的数据具有时效性,系统关心的数据基本上以1年为周期,1年前的数据可以当成是历史数据,不占用该系统的数据库资源。所以,我推荐数据库分片采用【范围求模分片】。

接下来阐述一下范围求模分片:

分片字段,表的主键如果是是Long类型的话,可以直接用主键ID,如不是Long类型的话,可以增加一个字段,名字为 dcol,取创建时间的Long值。下面我重点阐述一下范围求模分片的思想。

  • 分片分组思想

  • 范围分片,兼顾了范围查询。

该分片方法,有个非常大的优势,就是对扩容,原数据无需迁移,具体分片方法如下:

首先先贴上Mycat官方给出的配置信息:

dcol

rang-mod

<function name="rang-mod"class=“io.mycat.route.function.PartitionByRangeMod”>

<propertyname=“mapFile”>partition-range-mod.txt

<propertyname=“defaultNode”>0

partition-range-mod.txt 文件中的内容:

#  1451577600000 是 2016-01-01 00:00:00 的long值

#  1467302399000 是 2016-06-30 23:59:59 的long值

Java面试核心知识点笔记

其中囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。

蚂蚁金服(Java研发岗),26岁小伙斩获三面,收获Offer定级P6

Java中高级面试高频考点整理

蚂蚁金服(Java研发岗),26岁小伙斩获三面,收获Offer定级P6

蚂蚁金服(Java研发岗),26岁小伙斩获三面,收获Offer定级P6

最后分享Java进阶学习及面试必备的视频教学

蚂蚁金服(Java研发岗),26岁小伙斩获三面,收获Offer定级P6

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门,即可获取!
8x1XL6-1714518310882)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门,即可获取!

  • 7
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值