分库分表详细实践讲解sharding-jdbc

在我们系统运行很长时间后,数据会越来越多。单表的数量达到平顶后,查询效率就会慢下来,即便是加了索引,也会不起作用。这个时候就要考虑分表分库的做法了。

分表分库中间件

市面上最常用的就是mycat和sharding-jdbc用的最多了。如果是中大型的项目,采用mycat。如果是中小型的公司,就sharding-jdbc就可以了,二个中间件的使用差异不大

sharding-jdbc

今天主要讲的就是这个。用起来简单方便,少量的配置就可以实现分表分库了,也是很多小公司使用的

这个是当当网开源的项目,现在更名为shardingsphere,已经被apache基金会管理为顶级项目。现在已经多元化发展了。到了3.0版本后加入了分布式事务的功能,现在已经发展到了4.0的版本了

现在sharding-sphree已经是个生态圈了,包含三大中间件:

sharding-jdbc sharding-proxy sharding-sidecar

分库分表概念认识

分片

分片就是把一张数据量很大的表,拆分很多小的表,字段一样。比如:order表拆分order_1,order_2等等,这样就是水平拆分表,每个小表就是一个分片

逻辑表

逻辑表就是一组相同的字段和逻辑的表的总称。比如我们把t_order表拆分了很多的小表t_order_n,但是他们都是相同的逻辑和字段,我们sql执行的过程其实是对t_order表的操作,这个t_order表就是我们说的逻辑表,t_order_n就是我们的真实表

分片键

就是我们用哪个字段来进行分表分库,比如我们拿order表的id取模的方式来,那id就是分片键,sharidng-jdbc还支持多个字段作为分片键进行分片处理

分片算法和分配策略

分配算法就是我们分表分库之后,我们的sql语句在哪个数据库或者哪个表去查询,路由到对应的库和表上

分配策略就是我们根据一定的规则去分片,比如按月,按年去分片,按id的区间进行分片保存等

分库,分表的分配策略是独立的,而且sharding-jdbc没有直接提供分片算法的实现,需要自己去实现接口

常用的分片算法

精确分片,范围分片,复合分片,hint分片

分布式主键

为了在不同的真实表中防止主键冲突的问题,我们必须考虑生成全局唯一 的主键。sharding-jdbc为我们提供了二种主键生成策略,uuid和雪花算法。默认使用snowflake长整形数据,也可以自己实现主键生成算法

广播表

广播表就是我们在各个不同的库中,有相同的表,比如配置信息,字典等表。当一个库中表数据发生改变的时候,及时通知到其他库中表同步改变。

绑定表

简单来说就是主子表。比如t_order 和 t_order_item,他们都是order_id关联的。把这二个表设置为绑定表的作用就是关联查询的时候,防止笛卡尔积的负面作用。绑定表之后,同一条数据就会落到同一个数据库中。

其他第三方插件的结合

由于sharding-jdbc是采用jdbc的协议来开发的,所以sharding-jdbc兼容:hiberate,mybatis,springjdbc,jpa,完美兼容第三方数据库连接池,druid,hikaricp。之所以能分库分表,其实也就是sql解析到不同的库和表中执行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
课程简介 随着互联网的发展,软件的规模在逐渐变大,用关系型数据库如何存储和处理大规模的业务数据成为企业面临的挑战, 关系型数据库作为OLTP(联机事务处理过程)系统的首选毋庸置疑,但是关系型数据面对大规模数据的处理有其先天的不足,比如单表存储上千万数据时便会出现不同程度的处理速度缓慢问题,如何解决?分库分表技术就是为了解决由于数据量过大而导致数据库性能降低的问题,将原来独立的数据库拆分成若干数据库组成 ,将数据大表拆分成若干数据表组成,使得单一数据库、单一数据表的数据量变小,从而达到提升数据库性能的目的。本课程将系统的讲解分库分表技术。 课程价值 分库分表技术是为解决关系型数据库存储和处理大规模数据的问题,主要应用于OLTP系统,它与应用于OLAP(联机分析处理)的大数据技术有不同的应用场景,本课程本着从解决生产实际问题出发,讲授分库分表技术的解决方案,包括:垂直分库、垂直分表、水平分库、水平分表、读写分离,涵盖了分库分表的各种方案,并且深入讲解Sharding-JDBC框架的原理及使用方法,通过学习本课程可以快速应用到生产实践中。 课程优势 本课程不仅讲解多种有效的分库分表的解决方案,还深入讲解Sharding-JDBC框架的原理和使用方法,Sharding-JDBC是一套轻量级的对代码零侵入的框架,在生产中有广泛的使用。本课程从思想原理、技术框架、案例实操三个方面去学习,可以快速的将分库分表技术应用到生产实践中,解决大数据存储与处理的问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ai飞仔小密圈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值