分库分表-ShardingSphere-ShardingJDBC

最新推荐文章于 2024-02-18 11:42:32 发布
最新推荐文章于 2024-02-18 11:42:32 发布
阅读量349 收藏 1
点赞数
分类专栏： 砍柴日记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39905910/article/details/107020671
版权

分片和分区的区别

Sharding 分片Partition分区
存储依赖可跨越DB 可跨越物理机器可跨越表空间，不能跨DB存储
数据划分常见为时间、范围、面向服务等范围、Hash、列表、混合分区等
存储方式分布式集中式
扩展性Scale Out (水平扩展)Scale Up（垂直扩展）
可用性无单点存在单点（DB本身）
价格低廉适中（DAS）甚至昂贵（SAN）
应用场景Web 2.0网站多数传统应用

ShardingSphere

version:4.x

Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。

Sharding-JDBC

依赖

<dependency>
	<groupId>org.apache.shardingsphere</groupId>
	<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
	<version>4.0.0</version>
</dependency>

库：test1 schema

-- ----------------------------
-- Table structure for user_1
-- ----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1`  (
  `id` bigint(20) NOT NULL,
  `uuid` bigint(20) NULL DEFAULT NULL,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for user_2
-- ----------------------------
DROP TABLE IF EXISTS `user_2`;
CREATE TABLE `user_2`  (
  `id` bigint(20) NOT NULL,
  `uuid` bigint(20) NULL DEFAULT NULL,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Compact;

库：test2 schema

-- ----------------------------
-- Table structure for user_1
-- ----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1`  (
  `id` bigint(20) NOT NULL,
  `uuid` bigint(20) NULL DEFAULT NULL,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for user_2
-- ----------------------------
DROP TABLE IF EXISTS `user_2`;
CREATE TABLE `user_2`  (
  `id` bigint(20) NOT NULL,
  `uuid` bigint(20) NULL DEFAULT NULL,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Compact;

SET FOREIGN_KEY_CHECKS = 1;

配置文件

spring:
  shardingsphere:
    #数据源
    datasource:
      names: test1,test2
      test1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/test_1
        username: root
        password: abc123
      test2:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/test_2
        username: root
        password: abc123
    #分片
    sharding:
      tables:
        user:
          #由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持inline表达式。
          #缺省表示使用已知数据源与逻辑表名称生成数据节点，用于广播表（即每个库中都需要一个同样的表用于关联查询，多为字典表）或只分库不分表且所有库的表结构完全一致的情况
          actual-data-nodes: test$->{1..2}.user_$->{1..2}
          key-generator:
            #自增列名称，缺省表示不使用自增主键生成器
            column: id
            #自增列值生成器类型，缺省表示使用默认自增列值生成器。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
            type: SNOWFLAKE
          table-strategy:
            inline:
              #分表列名称
              sharding-column: id
              #分表算法行表达式，需符合groovy语法
              #偶数进表1，奇数进表2
              algorithm-expression: user_$->{id%2+1}
          database-strategy:
            inline:
              #分片列名称
              sharding-column: uuid
              #分片算法行表达式，需符合groovy语法
              #偶数进库1，奇数进库2
              algorithm-expression: test$->{uuid%2+1}
    props:
      sql:
        show: true

模型

@Data
public class User {

    private Long id;

    private Long uuid;

    private String name;
}

测试

插入10个用户数据

@Test
void add() {
    for (int i = 0; i < 10; i++) {
        User user=new User();
        user.setUuid(111111111111112L);
        user.setName(i+"号用户");
        userDao.insert(user);
    }
}

部分日志验证配置逻辑：

id=1277564054063390721(奇数)
uuid=0(偶数)
用户数据插入到了test1库的user_2表

2020-06-29 19:26:21.799  INFO 18452 --- [           main] ShardingSphere-SQL                       : Rule Type: sharding
2020-06-29 19:26:21.799  INFO 18452 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO user  ( id,
uuid,
name )  VALUES  ( ?,
?,
? )
2020-06-29 19:26:21.799  INFO 18452 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertSQLStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@5fd18419, tablesContext=TablesContext(tables=[Table(name=user, alias=Optional.absent())], schema=Optional.absent())), columnNames=[id, uuid, name], insertValueContexts=[InsertValueContext(parametersCount=3, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=48, stopIndex=48, parameterMarkerIndex=0), ParameterMarkerExpressionSegment(startIndex=51, stopIndex=51, parameterMarkerIndex=1), ParameterMarkerExpressionSegment(startIndex=54, stopIndex=54, parameterMarkerIndex=2)], parameters=[1277564054063390721, 0, 0号用户])])
2020-06-29 19:26:21.800  INFO 18452 --- [           main] ShardingSphere-SQL                       : Actual SQL: test1 ::: INSERT INTO user_2  ( id,
uuid,
name )  VALUES  (?, ?, ?) ::: [1277564054063390721, 0, 0号用户]

id=1277564056995209217(奇数)
uuid=1(奇数)
用户数据插入到了test2库的user_2表

2020-06-29 19:26:21.838  INFO 18452 --- [           main] ShardingSphere-SQL                       : Rule Type: sharding
2020-06-29 19:26:21.838  INFO 18452 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO user  ( id,
uuid,
name )  VALUES  ( ?,
?,
? )
2020-06-29 19:26:21.839  INFO 18452 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertSQLStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@5fd18419, tablesContext=TablesContext(tables=[Table(name=user, alias=Optional.absent())], schema=Optional.absent())), columnNames=[id, uuid, name], insertValueContexts=[InsertValueContext(parametersCount=3, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=48, stopIndex=48, parameterMarkerIndex=0), ParameterMarkerExpressionSegment(startIndex=51, stopIndex=51, parameterMarkerIndex=1), ParameterMarkerExpressionSegment(startIndex=54, stopIndex=54, parameterMarkerIndex=2)], parameters=[1277564056995209217, 1, 1号用户])])
2020-06-29 19:26:21.839  INFO 18452 --- [           main] ShardingSphere-SQL                       : Actual SQL: test2 ::: INSERT INTO user_2  ( id,
uuid,
name )  VALUES  (?, ?, ?) ::: [1277564056995209217, 1, 1号用户]

id=1277564057037152258(偶数)
uuid=3(奇数)
用户数据插入到了test2库的user_1表

2020-06-29 19:26:21.848  INFO 18452 --- [           main] ShardingSphere-SQL                       : Rule Type: sharding
2020-06-29 19:26:21.848  INFO 18452 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO user  ( id,
uuid,
name )  VALUES  ( ?,
?,
? )
2020-06-29 19:26:21.848  INFO 18452 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertSQLStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@5fd18419, tablesContext=TablesContext(tables=[Table(name=user, alias=Optional.absent())], schema=Optional.absent())), columnNames=[id, uuid, name], insertValueContexts=[InsertValueContext(parametersCount=3, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=48, stopIndex=48, parameterMarkerIndex=0), ParameterMarkerExpressionSegment(startIndex=51, stopIndex=51, parameterMarkerIndex=1), ParameterMarkerExpressionSegment(startIndex=54, stopIndex=54, parameterMarkerIndex=2)], parameters=[1277564057037152258, 3, 3号用户])])
2020-06-29 19:26:21.848  INFO 18452 --- [           main] ShardingSphere-SQL                       : Actual SQL: test2 ::: INSERT INTO user_1  ( id,
uuid,
name )  VALUES  (?, ?, ?) ::: [1277564057037152258, 3, 3号用户]

查询

@Test
void get() {
    QueryWrapper<User> userQueryWrapper=new QueryWrapper<>();
    userQueryWrapper.eq("id",1277564057016180737L);
    User user = userDao.selectOne(userQueryWrapper);
    System.out.println(user);
}

由于id=1277564057016180737(奇数)可能在tes1，也可能在test2，但是肯定在表user_2，所以

2020-06-29 19:34:52.485  INFO 20160 --- [           main] ShardingSphere-SQL                       : Rule Type: sharding
2020-06-29 19:34:52.485  INFO 20160 --- [           main] ShardingSphere-SQL                       : Logic SQL: SELECT  id,uuid,name  FROM user 
 
 WHERE (id = ?)
2020-06-29 19:34:52.485  INFO 20160 --- [           main] ShardingSphere-SQL                       : SQLStatement: SelectSQLStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.SelectStatement@7f012923, tablesContext=TablesContext(tables=[Table(name=user, alias=Optional.absent())], schema=Optional.absent())), projectionsContext=ProjectionsContext(startIndex=8, stopIndex=19, distinctRow=false, projections=[ColumnProjection(owner=null, name=id, alias=Optional.absent()), ColumnProjection(owner=null, name=uuid, alias=Optional.absent()), ColumnProjection(owner=null, name=name, alias=Optional.absent())], columnLabels=[id, uuid, name]), groupByContext=org.apache.shardingsphere.sql.parser.relation.segment.select.groupby.GroupByContext@601f264d, orderByContext=org.apache.shardingsphere.sql.parser.relation.segment.select.orderby.OrderByContext@4403bff8, paginationContext=org.apache.shardingsphere.sql.parser.relation.segment.select.pagination.PaginationContext@261275ae, containsSubquery=false)
2020-06-29 19:34:52.486  INFO 20160 --- [           main] ShardingSphere-SQL                       : Actual SQL: test1 ::: SELECT  id,uuid,name  FROM user_2 
 
 WHERE (id = ?) ::: [1277564057016180737]
2020-06-29 19:34:52.486  INFO 20160 --- [           main] ShardingSphere-SQL                       : Actual SQL: test2 ::: SELECT  id,uuid,name  FROM user_2 
 
 WHERE (id = ?) ::: [1277564057016180737]
User(id=1277564057016180737, uuid=2, name=2号用户)

总结

  1. 分片是一个很笼统的概念，具体到可以通过分库和分表来实现
  2. 分库分表主要是按照一定转发规则将数据进行合理分配存储

个人公众号

在这里插入图片描述

金陵砍柴人
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sharding-sphere4.1.1
01-28
sharding-sphere4.1.1
ShardingPhere 踩坑记录 SQL语句解析错误 关键字冲突 You have an error in your SQL syntax 解决方案
a1035434631的博客
05-17 9173
shardingjdbc 常见的 解析sql错误的解决办法,org.apache.shardingsphere.sql.parser.exception.SQLParsingException: You have an error in your SQL syntax
《ShardingSphere JDBC?Sharding JDBC？》基本小白脱坑问题
最新发布
阿丹的博客
02-18 1198
在网上看了很多文章，可能是因为技术的迭代等等原因，看的越多蒙的越快。在学习的道路上梳理一下，希望可以帮助到别的小伙伴。
sharding sphere 4.1.1 - “路由装饰器RouteDecorator-分片” 之 调用“分片条件-引擎、分片路由-引擎”
~~简~~
03-12 583
// org.apache.shardingsphere.sharding.route.engine.ShardingRouteDecorator#decorate public RouteContext decorate(final RouteContext routeContext, final ShardingSphereMetaData metaData, final ShardingRule shardingRule, final ConfigurationProperties properti.
ShardingSphere、ShardingJDBC核心要点整理
热门推荐
chen
11-05 1万+
1.ShardingSphere sharding-jdbc后续发展为Sharding-Sphere，包含sharding-jdbc、Sharding-Proxy、Sharding-Sidecar。 1）概述：ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这...
Shading-JDBC、ShadingSphere、ShardingProxy 使用详解
阿杰的博客
09-30 2943
中，这种操作就是分库操作，分库操作可以减少每个数据库中存储的数据，当数据少了，查询的时候，单台数据库查找的数据量就减少了，从而加速了每台数据库查找速度。一般我们在提到分库分表的时候，大多是以水平切分模式（水平分库、分表）为基础来说的，数据分片将原本一张数据量较大的表。咱们先捋一下它们之间的关系，分片策略只是抽象出的概念，它是由分片算法和分片健组合而成，分片算法做具体的数据分片逻辑。一般是为字典表或者配置表。上边讲分片算法的时候已经说过，分片策略是一种抽象的概念，实际分片操作的是由分片算法和分片健来完成的。
分库分表解决方案-ShardingSphere-JDBC
01-30
分库分表解决方案-ShardingSphere-JDBC
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
主要介绍了Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
sharding分库分表demo
12-02
主要技术有: springboot shardingsphere swagger mybatis-plus mysql
sharding-jdbc按月分表样例
10-25
sharind-jdbc样例，当中包含了按月动态分表，一个比较简单的demo，大家可以结合自己的需求进行修改，以及可以看下实现思路，仅供参考！
基于yml 配置方式 ，实现springBoot+sharding-jdbc+mybatis-plus 实现分库分表，读写分离，以及全局表，子表的配置
10-26
1、基于yml 配置方式 ，实现springBoot+sharding-jdbc+mybatis-plus 实现分库分表，读写分离，以及全局表，子表的配置。 2、实现mybatis-plus 整合到springboot 详细使用请看 测试用例
分库分表ShardingSphere之ShardingJDBC
SunAcument的博客
02-16 1212
ShardingJDBC ShardingJDBC是用来做客户端分库分表的产品，而ShardingProxy是用来做服务端分库分表的产品。 shardingjdbc的核心功能是数据分片和读写分离，通过ShardingJDBC，应用可以透明的使用JDBC访问已经分库分表、读写分离的多个数据源，而不用关心数据源的数量以及数据如何分布。 核心概念 逻辑表：水平拆分的数据库的相同逻辑和数据结构表的总称 真实表：在分片的数据库中真实存在的物理表。 数据节点：数据分片的最小单元。由数据源名称和数据表组成
ShardingSphere之Sharding-JDBC主要功能、内部结构、数据分片策略以及SQL使用规范
weixin_44795847的博客
03-01 2889
ShardingSphere之Sharding-JDBC主要功能、内部结构、数据分片策略以及SQL使用规范
使用shardingsphere实现SQL server数据库分表
weixin_50954940的博客
11-18 1952
一、项目需求 项目中数据量比较大,单表千万级别的,需要实现分表，于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比较容易上手。 二、简介sharding-sphere 官网地址（有中文版） sharding-jdbc 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 三、项目实战 本项目使
ShardingSphere踩坑合集（一）
weixin_44654147的博客
06-28 1万+
前言 最近在工作中使用ShardingSphere实现mysql数据分表，在此记录一下遇到的一些坑。 ShardingSphere简介 Apache ShardingSphere 是一套开源的分布式数据 库解决方案组成的生态圈，提供标准化的数据水平扩展、分布式事务和分布式治理等功能。 更新分片字段问题 本次使用Sharding-JDBC，并只分表，不分库（避开了跨库导致的分布式事务问题，当然ShardingSphere也支持XA、Seata等分布式事务）。 当执行更新分片字段的update语句时，报错如下
ShardingSphere 数据分片之 Sharding-JDBC 深入理解
程序猿进阶
04-24 1689
MySQL 的存储单位是 page[16kb]，索引使用 B+Tree，深度为3（3次 IO便能查出数据）。为了提高查询速度，存储单元中都存储的是索引的指针。MySQL 内部索引指针大小在 InnoDB源码中设置为 6个字节+例如 ID类型 bigint（long) 占8个字节 = 14字节，那么一页存储 16*1024/14 ≈ 1170行数据。因为深度为3，表示此时一张表最多存储（这里假设叶子节点一行记录的数据大小为1k，实际上现在很多互联网业务数据记录大小通常就是1K左右）16[叶子节点只能存16行数
理论+实战，详解Sharding Sphere-jdbc
华为云官方博客
03-02 1354
Apache ShardingSphere 是一款分布式的数据库生态系统，它包含两大产品：ShardingSphere-Proxy和ShardingSphere-JDBC。
一文入门数据库中间件（ShardingSphere，Sharding-JDBC），从理论到实战，完成数据库主从复制，读写分离，分库分表！！！
weixin_45929082的博客
09-26 1061
注： 大家好我是妈妈的好大儿， 笔者联系方式 QQ：3302254385 微信：yxc3302254385 交个朋友！ 创作不易，三连十分感谢！！！ 文章篇幅过长，有很多理论如果没有耐心！！！可以直接通过目录找到需要的配置文件！！！ 1.基本介绍 详细内容见： https://shardingsphere.apache.org/document/current/cn/overview/ ShardingSphere是什么？ Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生
sharding-jdbc-spring-boot-starter和shardingsphere-sharding-boot-starter的区别
03-31
而ShardingSphere-Sharding-Boot-Starter基于ShardingSphere-Sharding，它提供了分库分表、读写分离、数据脱敏、分布式主键等多种数据分片策略。 3. Sharding-JDBC-Spring-Boot-Starter的配置文件中需要指定分片...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值