ShardingSphere-JDBC分库分表实操 - 快速上手

最新推荐文章于 2024-03-26 09:03:15 发布
最新推荐文章于 2024-03-26 09:03:15 发布
阅读量705 收藏 2
点赞数 2
分类专栏： ShardingSphere 文章标签： java 数据库 spring boot ShardingSphere 数据库架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43950568/article/details/122318271
版权

ShardingSphere-JDBC分库分表实操 - 快速上手

实操中常见错误

Sharding JDBC 错误 : Inline sharding algorithm expression cannot be null.
Sharding JDBC 错误 : Could not resolve placeholder ‘user_id % 2‘ in value “ds_${user_id % 2}“
Sharding JDBC 错误 : Parameter index out of range (1 ＞ number of parameters, which is 0).

ShardingSphere-JDBC是什么?

ShardingSphere-JDBC通常用于数据分片。定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

  • 适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。
  • 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP 等。
  • 支持任意实现 JDBC 规范的数据库，目前支持 MySQL，Oracle，SQLServer，PostgreSQL 以及任何遵循 SQL92 标准的数据库。

image-20220104200037261

ShardingSphere-JDBC实现分库分表

​ 该案例以用户订单分库分表为例。

  1. 创建一个Spring Boot项目

  2. 引入shardingsphere-jdbc-core-spring-boot-starter

            <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
            <version>5.0.0</version>
        </dependency>

  3. 配置分片规则

    spring:
  shardingsphere:
    datasource:
      ds0:
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/ds0
        password: 123456
        type: com.zaxxer.hikari.HikariDataSource
        username: root
      ds1:
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/ds1
        password: 123456
        type: com.zaxxer.hikari.HikariDataSource
        username: root
      names: ds0,ds1
    rules:
      sharding:
        sharding-algorithms:
          database-inline:
            props:
              algorithm-expression: ds$->{user_id % 2}
            type: INLINE
          table-inline:
            props:
              algorithm-expression: tb_order$->{order_id.toString().charAt(order_id.toString().length() - 1)}
            type: INLINE
        tables:
          tb_order:
            actual-data-nodes: ds$->{0..1}.tb_order$->{0..9}
            database-strategy:
              standard:
                sharding-algorithm-name: database-inline
                sharding-column: user_id
            table-strategy:
              standard:
                sharding-algorithm-name: table-inline
                sharding-column: order_id

  4. 准备数据库、表

    4.1 创建ds0、ds1数据库

    4.2 分别在ds0、ds1中执行以下语句创建订单表表

    CREATE TABLE `tb_order0` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order1` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order2` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order3` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order4` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order5` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order6` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order7` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order8` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `tb_order9` (
  `id` bigint(20) NOT NULL,
  `user_id` bigint(20) NOT NULL,
  `order_id` bigint(20) NOT NULL,
  `product_name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

  5. 创建Controller

    /**
 * @author Fred-X
 * @date 2021/12/31 15:35
 */
@Controller
@RequestMapping("/test")
public class TestController {

    @Autowired
    private TestService testService;

    @PostMapping("/testGet")
    public void testGet() {
        testService.testGet();
    }

    @PostMapping("/testInsert")
    public void testInsert() {
        testService.testInsert();
    }

    @PostMapping("/testDelete")
    public void testDelete() {
        testService.testDelete();
    }

    @PostMapping("/testUpdate")
    public void testUpdate() {
        testService.testUpdate();
    }

    @PostMapping("/testPage")
    public void testPage() {
        testService.testPage();
    }
}

  6. Service接口

    /**
 * @author Fred-X
 * @date 2021/12/31 15:35
 */
public interface TestService {
    void testInsert();

    void testGet();

    void testDelete();

    void testUpdate();

    void testPage();
}

  7. Service接口实现类

    /**
 * @author Fred-X
 * @date 2021/12/31 15:37
 */
@Service
public class TestServiceImpl implements TestService {

    @Autowired
    private DataSource dataSource;

    @Override
    public void testInsert() {
        while (true) {
            Connection connection = null;
            try {
                Thread.sleep(100);
                connection = dataSource.getConnection();
                long l = RandomUtils.nextLong();
                String sql = "insert into tb_order(id,user_id,order_id) value (?,?,?)";
                PreparedStatement preparedStatement = connection.prepareStatement(sql);
                preparedStatement.setLong(1, l);
                preparedStatement.setInt(2, 4);
                preparedStatement.setInt(3, 10001);
                preparedStatement.execute();
                connection.close();
            } catch (Exception exception) {
                exception.printStackTrace();
            }
        }

    }

    @Override
    public void testGet() {
        Connection connection = null;
        try {
            connection = dataSource.getConnection();
            String sql = "select * from tb_order where id = ?";
            PreparedStatement preparedStatement = connection.prepareStatement(sql);
            preparedStatement.setLong(1, 9123951672448291086L);
            ResultSet resultSet = preparedStatement.executeQuery();
            int counter = 0;
            while (resultSet.next()) {
                counter++;
                System.out.println(resultSet.getLong("id"));
            }
            System.out.println("counter:" + counter);
            resultSet.close();
            connection.close();
        } catch (Exception exception) {
            exception.printStackTrace();
        }
    }

    @Override
    public void testDelete() {
        Connection connection = null;
        try {
            connection = dataSource.getConnection();
            String sql = "delete from tb_order where id = ?";
            PreparedStatement preparedStatement = connection.prepareStatement(sql);
            preparedStatement.setLong(1, 9123951672448291086L);
            System.out.println(preparedStatement.executeUpdate());
            connection.close();
        } catch (Exception exception) {
            exception.printStackTrace();
        }
    }

    @Override
    public void testUpdate() {
        Connection connection = null;
        try {
            connection = dataSource.getConnection();
            String sql = "update tb_order set product_name = ? where id = ?";
            PreparedStatement preparedStatement = connection.prepareStatement(sql);
            preparedStatement.setString(1, "小米手机");
            preparedStatement.setLong(2, 9123951672448291086L);
            System.out.println(preparedStatement.executeUpdate());
            connection.close();
        } catch (Exception exception) {
            exception.printStackTrace();
        }
    }

    @Override
    public void testPage() {
        Connection connection = null;
        try {
            connection = dataSource.getConnection();
            String sql = "select * from tb_order limit 10,10";
            PreparedStatement preparedStatement = connection.prepareStatement(sql);
            ResultSet resultSet = preparedStatement.executeQuery();
            int counter = 0;
            while (resultSet.next()) {
                counter++;
                System.out.println(resultSet.getLong("id"));
            }
            System.out.println("counter:" + counter);
            resultSet.close();
            connection.close();
        } catch (Exception exception) {
            exception.printStackTrace();
        }
    }
}

    自此就已经实现分库分表，代码看上去好像和我们平时写jdbcCURD没什么区别，确实没什么区别。但是在应用运行时就有区别了。

    @Autowired
private DataSource dataSource;

    关键就在于DataSource的注入，这里和以往不一样，这里注入的是ShardingSphereDataSource，也就是说所有逻辑不再是以前普通的CURD，而是执行的ShardingSphereDataSource的逻辑，ShardingSphereDataSource内部会根据配置的规则做数据分片处理。

Fred-X
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shardingsphere-jdbc实现简单的单库分表
06-05
shardingsphere-jdbc实现简单的单库分表
mysql第十话 - mysql+springboot之ShardingSphere-JDBC分表分库实战
生生不息，则源源不断
04-20 2023
ShardingSphere-JDBC自身定义为轻量级Java框架，可在Java JDBC层提供额外的服务。客户端直接连接到数据库时，它以jar形式提供服务，并且不需要额外的部署。 总体来说用起来还是比较舒服的，完美的实现了分库分表，读写分离。 这里贴一下要注意的问题点： 1.有些配置里面的是一定要写对应的表名的，有些这种配置就可以随便定义 2.分片键配置的行内表达式如果有比较复杂的，可手写代码实现分片规则 3.读延迟问题...
SpringBoot 2 种方式快速实现分库分表，轻松拿捏！
最新发布
竹林幽深
03-26 262
是一款开源的分布式关系型数据库中间件，为Apache的顶级项目。其前身是和的两个独立项目，后来在 2018 年合并成了一个项目，并正式更名为 ShardingSphere。其中 sharding-jdbc 为整个生态中最为经典和成熟的框架，最早接触分库分表的人应该都知道它，是学习分库分表的最佳入门工具。
Sharding-JDBC-5.1.0 实现按月分表、动态建表
abc_xian的博客
10-25 1855
Sharding-JDBC-5.1.0 实现按月分表、自动建表、自动刷新节点
ShardingSphere-JDBC
woodpecker8的博客
01-16 753
ShardingSphere jdbc 读写分离，分库分表
Sharding-JDBC 快速入门第一课
daobuxinzi的博客
09-18 507
Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是交互，是将杂乱无章的应用与数据库之间的交互有效的梳理。同时由于时间位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。从性能方面来说，由于关系型数据库大多采用B+树类型的索引，在数据量超过阈值的情况下，索引深度的增加也将使得磁盘访问的IO次数增加，进而导致查询性能的下降；
ShardingSphere-JDBC-若依框架集成（SpringBoot）
编程小菜鸟的笔记
06-16 4703
ShardingSphere基础知识、ShardingSphere-JDBC如何集成进若依框架中 使用的是若依框架前后端版本、动态数据源，可自行切换，默认数据源为达梦8代理端，
shardingJDBC你是怎么分库分表的
m0_52869579的博客
07-14 292
shardingJDBC你是怎么分库分表的
dynamic-datasource+shardingsphere-jdbc实现分库分表demo
03-22
博客 ...基于spring boot 2.7实现了dynamic-datasource+shardingsphere-jdbc+mybatis-plus技术栈的整合，可以动态切换数据源及对部分库表的分库分表。适用于老系统增加新的分库分表数据源。
shardingsphere-jdbc-5.0.0-beta依赖包
08-26
shardingsphere-jdbc-5.0.0-beta依赖包，非maven项目引入。使用者可视情况将文件夹jar包文件导入项目。
分库分表解决方案-ShardingSphere-JDBC
01-30
分库分表解决方案-ShardingSphere-JDBC
shardingsphere-jdbc4&shardingsphere-jdbc5
01-09
shardingsphere-jdbc4&shardingsphere-jdbc5自测试demo代码
【教程】shardingjdbc (二) 开始使用
愤怒的菜鸟博客
02-13 2827
以springboot 来开始使用shardingjdbc 引入shardingjdbc starter依赖 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId> &
ShardingSphere之Sharding-JDBC主要功能、内部结构、数据分片策略以及SQL使用规范
weixin_44795847的博客
03-01 2904
ShardingSphere之Sharding-JDBC主要功能、内部结构、数据分片策略以及SQL使用规范
使用ShardingSphere-JDBC完成Mysql的分库分表和读写分离
追风人的博客
10-20 856
目录 1. 概述 2. 场景介绍 3.ShardingSphere-JDBC在Springboot中的具体使用 4. 综述 5. 个人公众号 1. 概述 老话说的好：选择比努力更重要，如果选错了道路，就很难成功。 言归正传，之前我们聊了使用 MyCat 实现Mysql的分库分表和读写分离，MyCat是服务端的代理，使用MyCat的好处显而易见，整个分库分表和读写分离过程对Java程序来说是完全透明的，Java程序像连接Mysql一样，去连接MyCat即可。 但MyCat的运维成本较..
ShardingSphere-JDBC使用笔记
曹振浩
11-08 1197
所有的分片数据源中都存在的表，表结构以及其中的数据在每个数据库中都完全一致，适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表；广播表有以下特性插入，更新操作会实时的在所有的节点上执行，保持各个分片的数据的一致性。查询操作，只从一个节点获取。可以跟任何一个表进行JOIN操作。
sharing-jdbc-1-5.x版本应用
weixin_44383484的博客
12-08 649
sharing-jdbc
ShardingSphere-JDBC探索踩坑篇
qq_35746400的博客
05-18 730
ShardingSphere-JDBC的使用
shardingsphere-jdbc 按月分表
09-10
ShardingSphere-JDBC是一个开源的分布式数据库中间件，它提供了按月分表的功能。 按月分表是一种数据分片的策略，将数据按照月份进行分割存储在不同的表中，每个月对应一个表。这种方式可以减轻单表数据量过大的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值