2、shardingjdbc工作原理分析

一、shardingjdbc概述

shardingjdbc在当前分库分表领域占有很大市场份额。可能和其宣传有关系,其文档突出自己的优点,对自己的缺点写的很少或者很不容易被注意到。所以,我们在使用shardingjdbc做业务的时候要关注他最终生成的sql是什么?是否符合我们的业务需求。这里不是黑shardingjdbc,不是shardingjdbc的问题,这是计算机行业难以跨越的问题。

二、shardingjdbc原理

shardingjdbc文档写一堆,感觉很神秘。其实实质就是一个条件路由器和sql转移器。学习和了解shardingjdbc最好的方式就是抓包。

  • shardingjdbc是路由器:shardingjdbc其实就是一个路由器
  • shardingjdbc SQL转移器:shardingjdbc其实就是根据路由规则转义sql

三、shardingjdbc SQL转义

我们就拿一份按照季度的分库分表场景做演示吧。这里可以看出shardingjdbc取了intmax的分表记录,然后汇聚取top10.可见有多么大的网络开销。所以涉及排序的场景要做好技术测试。

2.1、原始SQL

select  station_id,count(station_id) as stationNum  from tms_delivery_order_2021   
where delivery_start_time between  '2021-01-01 01:41:36' and  '2021-12-30 01:41:36'  
group by  station_id  order by stationNum desc LIMIT 10

2.2、被转义SQL

#sql1 第一季度
select  station_id,count(station_id) as stationNum  from tms_delivery_order_2021_q1   
where delivery_start_time between  '2021-01-01 01:41:36' and  '2021-12-30 01:41:36'  
group by  station_id  order by stationNum desc LIMIT 2147483647

#sql2 第二季度
select  station_id,count(station_id) as stationNum  from tms_delivery_order_2021_q2   
where delivery_start_time between  '2021-01-01 01:41:36' and  '2021-12-30 01:41:36'  
group by  station_id  order by stationNum desc LIMIT 2147483647

#sql3 第三季度
select  station_id,count(station_id) as stationNum  from tms_delivery_order_2021_q3   
where delivery_start_time between  '2021-01-01 01:41:36' and  '2021-12-30 01:41:36'  
group by  station_id  order by stationNum desc LIMIT 2147483647

#sql1 第四季度
select  station_id,count(station_id) as stationNum  from tms_delivery_order_2021_q4   
where delivery_start_time between  '2021-01-01 01:41:36' and  '2021-12-30 01:41:36'  
group by  station_id  order by stationNum desc LIMIT 2147483647

2.3、测试过程截图

在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
课程简介 随着互联网的发展,软件的规模在逐渐变大,用关系型数据库如何存储和处理大规模的业务数据成为企业面临的挑战, 关系型数据库作为OLTP(联机事务处理过程)系统的首选毋庸置疑,但是关系型数据面对大规模数据的处理有其先天的不足,比如单表存储上千万数据时便会出现不同程度的处理速度缓慢问题,如何解决?分库分表技术就是为了解决由于数据量过大而导致数据库性能降低的问题,将原来独立的数据库拆分成若干数据库组成 ,将数据大表拆分成若干数据表组成,使得单一数据库、单一数据表的数据量变小,从而达到提升数据库性能的目的。本课程将系统的讲解分库分表技术。 课程价值 分库分表技术是为解决关系型数据库存储和处理大规模数据的问题,主要应用于OLTP系统,它与应用于OLAP(联机分析处理)的大数据技术有不同的应用场景,本课程本着从解决生产实际问题出发,讲授分库分表技术的解决方案,包括:垂直分库、垂直分表、水平分库、水平分表、读写分离,涵盖了分库分表的各种方案,并且深入讲解Sharding-JDBC框架的原理及使用方法,通过学习本课程可以快速应用到生产实践中。 课程优势 本课程不仅讲解多种有效的分库分表的解决方案,还深入讲解了Sharding-JDBC框架的原理和使用方法,Sharding-JDBC是一套轻量级的对代码零侵入的框架,在生产中有广泛的使用。本课程从思想原理、技术框架、案例实操三个方面去学习,可以快速的将分库分表技术应用到生产实践中,解决大数据存储与处理的问题。
Sh-JDBC是一个基于JDBC的分库分表中间件,它的实现原理主要包括以下几个方面: 1. 架构:Sharding-JDBC采用了经典的分片模型,主要包含三个组件:客户端、中间件、数据库。客户端通过JDBC连接访问中间件,中间件负责解析SQL语句,对数据进行分片处理后,将请求转发给相应的数据库进行处理。 2. 核心概念:Sharding-JDBC中定义了一些核心概念,包括分片规则、分片算法、分片键、广播表等。分片规则定义了数据在不同数据库中的分布规则;分片算法定义了数据如何进行分片计算;分片键是用于进行数据分片的列;广播表是指在所有分片数据库中都存在的表。 3. 写操作:对于写操作,Sharding-JDBC通过分片规则将数据分散到多个数据库中的相应分片表中,保证了数据的均匀分布和负载均衡。例如,根据分片规则将用户数据根据用户ID的范围分散到不同的数据库中的用户表中。 4. 读操作:对于读操作,Sharding-JDBC通过分片键和广播表的方式,将查询请求发送到所有的分片数据库,并将结果合并后返回给客户端。例如,在查询用户数据时,Sharding-JDBC会将查询请求发送到所有的用户分片表,并将结果进行合并后返回给客户端。 综上所述,Sharding-JDBC通过解析SQL语句、分片规则和分片算法,实现了对数据的分库分表操作,同时保证了数据的一致性和高性能。这使得开发人员可以简化分库分表的实现逻辑,提高系统的可伸缩性和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值