分库分表 - ShardingSphere

不努力谁会可怜你？

已于 2022-12-30 01:36:14 修改

阅读量792

点赞数

分类专栏：数据库文章标签：分库分表

于 2020-06-13 01:07:58 首次发布

本文链接：https://blog.csdn.net/qq_32603969/article/details/106726881

版权

数据库专栏收录该内容

6 篇文章 0 订阅

订阅专栏

1 总述

Mycat 和 ShardingSphere（包括 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar 3 款产品）都是非常流行的开源分布式数据库中间件，各自具有一些独特的功能，也有很多企业成功应用的案例。通过个人比较这两者的官方文档、社区活跃度等信息，目前 Apache ShardingSphere 体系更加完善，社区更加活跃。

这两者都是国人开源产品中的佼佼者，希望能够越来越好！另外，还有一款值得关注的分布式数据库中间件 DBLE（专注于 MySQL），可以看做 Mycat 增强版。

X.1 比较

	Mycat	Sharding-JDBC	Sharding-Proxy	Sharding-Sidecar
官方网站	官方网站	官方网站	官方网站	官方网站
源码地址	GitHub	GitHub	GitHub	GitHub
官方文档	Mycat 权威指南	官方文档	官方文档	官方文档
开发语言	Java	Java	Java	Java
开源协议	GPL-2.0/GPL-3.0	Apache-2.0	Apache-2.0	Apache-2.0
数据库	MySQL Oracle SQL Server PostgreSQL DB2 MongoDB SequoiaDB	MySQL Oracle SQLServer PostgreSQL 任何遵循 SQL92 标准的数据库	MySQL/PostgreSQL	MySQL/PostgreSQL
连接数	低	高	低	高
应用语言	任意	Java	任意	任意
代码入侵	无	需要修改代码	无	无
性能	损耗略高	损耗低	损耗略高	损耗低
无中心化	否	是	否	是
静态入口	有	无	有	无
管理控制台	Mycat-web	Sharding-UI	Sharding-UI	Sharding-UI
分库分表	单库多表/多库单表	✔️	✔️	✔️
多租户方案	✔️	--	--	--
读写分离	✔️	✔️	✔️	✔️
分片策略定制化	✔️	✔️	✔️	✔️
分布式主键	✔️	✔️	✔️	✔️
标准化事务接口	✔️	✔️	✔️	✔️
XA强一致事务	✔️	✔️	✔️	✔️
柔性事务	--	✔️	✔️	✔️
配置动态化	开发中	✔️	✔️	✔️
编排治理	开发中	✔️	✔️	✔️
数据脱敏	--	✔️	✔️	✔️
可视化链路追踪	--	✔️	✔️	✔️
弹性伸缩	开发中	开发中	开发中	开发中
多节点操作	分页去重排序分组聚合	分页去重排序分组聚合	分页去重排序分组聚合	分页去重排序分组聚合
跨库关联	跨库 2 表 Join ER Join 基于 caltlet 的多表 Join	--	--	--
IP 白名单	✔️	--	--	--
SQL 黑名单	✔️	--	--	--
存储过程	✔️	--	--	--

X.2 Mycat

Mycat 是基于阿里 Cobar 演变而来的一款开源分布式数据库中间件，是一个实现了 MySQL 协议的 Server。前端用户可以把它看做是一个数据库代理，用 MySQL 客户端工具和命令行访问；而其后端可以用 MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信。
Mycat

对于 DBA，MyCat 就是 MySQL Server，而 MyCat 后面连接的 MySQL Server 就好像是 MySQL 的存储引擎，如 InnoDB、MyISAM 等，因此 Mycat 本身并不存储数据，数据是在后端的 MySQL 上存储的，数据可靠性以及事务等都是由 MySQL 保证的。

对于软件工程师，MyCat 是一个近似等于 MySQL 的数据库服务器。你可以用连接 MySQL 的方式去连接 MyCat（除了端口不同，MyCat 默认端口是 8066 而非 3306），大多数情况下可以用你熟悉的对象映射框架使用 MyCat。但建议对于分片表，尽量使用基础的 SQL 语句，因为这样能达到最佳性能，特别是几千万甚至几百亿条记录的情况下。

对于架构师，MyCat 是一个强大的数据库中间件；不仅仅可以用作读写分离、以及分表分库、容灾备份，而且可以用于多租户应用开发、云平台基础设施。让你的架构具备很强的适应性和灵活性，借助于即将发布的 MyCat 智能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同存储引擎上，而整个应用的代码一行也不用改变。

MyCat 目前的发布版本为 1.6，正在开发 Mycat 2.0。提供的关键特性包括：支持 SQL92 标准；
支持MySQL、Oracle、DB2、SQL Server、PostgreSQL 等 DB 的常见 SQL 语法；
遵守 MySQL 原生协议，跨语言，跨平台，跨数据库的通用中间件代理；
基于心跳的自动故障切换，支持读写分离，支持 MySQL 主从，以及 Galera Cluster 集群；
支持 Galera for MySQL 集群，Percona Cluster 或者 MariaDB cluster；
基于 Nio 实现，有效管理线程，解决高并发问题；
支持数据的多片自动路由与聚合，支持 sum、count、max 等常用的聚合函数，支持跨库分页；
支持单库内部任意 join，支持跨库 2表 join，甚至基于 caltlet 的多表 join；
支持通过全局表，ER 关系的分片策略，实现了高效的多表 join 查询；
支持多租户方案；
支持分布式事务（弱 xa）；
支持 XA 分布式事务（1.6.5）；
支持全局序列号，解决分布式下的主键生成问题；
分片规则丰富，插件化开发，易于扩展；
强大的 web，命令行监控；
支持前端作为 MySQL 通用代理，后端 JDBC 方式支持 Oracle、DB2、SQL Server 、 MongoDB 、巨杉；
支持密码加密；
支持服务降级；
支持 IP 白名单；
支持 SQL 黑名单、SQL 注入攻击拦截；
支持 prepare 预编译指令（1.6）；
支持非堆内存（Direct Memory）聚合计算（1.6）；
支持 PostgreSQL 的 native 协议（1.6）；
支持 mysql 和 Oracle 存储过程，out 参数、多结果集返回（1.6）；
支持 zookeeper 协调主从切换、zk 序列、配置 zk 化（1.6）；
支持库内分表（1.6）；
集群基于 ZooKeeper 管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

X.3 ShardingSphere

Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar（规划中）这 3 款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。

ShardingSphere

ShardingSphere 定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。ShardingSphere 项目由当当捐入 Apache，并在京东数科逐渐发展壮大，成为业界首个 Apache 分布式数据库中间件项目（据说当初 Mycat 立志也是希望加入 Apache）。ShardingSphere 已经在 2020 年 4 月 16 日成为 Apache 顶级项目（Apache官方发布从 4.0.0 版本开始）。

status

下面我们分别看看组成 ShardingSphere 的 3 款产品。

Sharding-JDBC

Sharding-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

Sharding-JDBC

适用于任何基于 JDBC 的 ORM 框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或直接使用 JDBC。
支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、Druid、HikariCP 等。
支持任意实现 JDBC 规范的数据库。目前支持 MySQL、Oracle、SQLServer、PostgreSQL 以及任何遵循 SQL92 标准的数据库。

Sharding-Proxy

Sharding-Proxy 属于和 Mycat 对标的产品，它定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。目前先提供 MySQL/PostgreSQL 版本，它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端（如：MySQL Command Client、MySQL Workbench、Navicat 等）操作数据，对 DBA 更加友好。
Sharding-Proxy

向应用程序完全透明，可直接当做 MySQL/PostgreSQL 使用。
适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。

Sharding-Sidecar

Sharding-Sidecar 目前正在规划中，定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零侵入的方案提供与数据库交互的的啮合层，即 Database Mesh，又可称数据网格。

Sharding-Sidecar

Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是交互，是将杂乱无章的应用与数据库之间的交互有效的梳理。使用 Database Mesh，访问数据库的应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是被啮合层所治理的对象。