什么是 Sharding Sphere
Apache ShardingSphere(Incubator) 是一套开源的分布式数据库中间件解决方案组成的生态圈。
组成:
1.Sharding-JDBC
2.Sharding-Proxy
3.Sharding-Sidecar
功能:提供标准化的数据分片、分布式事务和数据库治理功能
目的:充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。它通过关注不变,进而抓住事物本质。
Sharding-JDBC
定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。它使⽤客⼾端直连数据库,以 jar 包形式 提供服务,⽆需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。
• 适⽤于任何基于 JDBC 的 ORM 框架,如: JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使⽤ JDBC 。• ⽀持任何第三⽅的数据库连接池,如: DBCP, C3P0, BoneCP, Druid, HikariCP 等。• ⽀持任意实现 JDBC 规范的数据库,⽬前⽀持 MySQL , Oracle , SQLServer , PostgreSQL 以及任何遵循 SQL92 标准的数据库。
sharding-jdbc不是做分库分表,主要做两个功能:数据分片和读写分离。通过引入jar包实现,简化了在分库分表后的数据相关的操作。
什么是分库分表
数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展, 库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销 也会越来越大;另外,由于无法进行分布式式部署,而一台服务器的资源(CPU、磁盘、内 存、IO 等)是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。。
分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题,将原来独立的数据 库拆分成若干数据库组成,将数据大表拆分成若干数据表组成,使得单一数据库、单一数 据表的数据量变小,从而达到提升数据库性能的目的。
数据库的切分指的是通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)中,以达到分散单台设备负载的效果,即分库分表。 数据的切分根据其切分规则的类型,可以分为 垂直切分 和水平切分。
拆分方式;
(1)垂直切分: 把单一的表拆分成多个表,并分散到不同的数据库(主机)上。
(2)水平切分:根据表中数据的逻辑关系,将表中的数据按照某种条件拆分到多台数据库上。
垂直分库 :
垂直分表:
(1)操作数据库中某张表,把这张表中一部分字段数据存到一张新表里面,再把这张表另一 部分字段数据存到另外一张表里面 。
垂直切分的优点如下:
(1)拆分后业务清晰,系统之间进行整合或扩展很容易。
(2)按照成本、应用的等级、应用的类型等奖表放到不同的机器上,便于管理,数据维护 简单。
垂直切分的缺点如下:
(1)部分业务表无法关联(Join), 只能通过接口方式解决,提高了系统的复杂度。
(2)受每种业务的不同限制,存在单库性能瓶颈,不易进行数据扩展和提升性能。
(3)事务处理变得复杂。
水平分表 :
水平分库:
水平切分的优点:
(1)单库单表的数据保持在一定的量级,有助于性能的提高。
(2)切分的表的结构相同,应用层改造较少,只需要增加路由规则即可。
(3)提高了系统的稳定性和负载能力。
水平切分的缺点如下:
(1)切分后,数据是分散的,很难利用数据库的 Join 操作,跨库 Join 性能较差。
(2)分片事务的一致性难以解决,数据扩容的难度和维护量极大。
分库分表带来的问题 :
综上所述,垂直切分和水平切分的共同点如下:
• 存在跨节点 Join 的问题。
• 存在跨节点合并排序、分页的问题。
• 存在多数据源管理的问题。