shardingsphere 整合spring boot的yaml配置

最新推荐文章于 2024-06-05 13:38:23 发布
最新推荐文章于 2024-06-05 13:38:23 发布
阅读量3.2k 收藏 2
点赞数 1
原文链接：https://www.cnblogs.com/mrsans/articles/12296918.html
版权

1. 搭建基本的sharding-jdbc整合springboot

　　1. springboot导入sharding-jdbc相关依赖

复制代码
dependencies {
    compile("org.springframework.boot:spring-boot-starter-web")
    compile 'org.apache.shardingsphere:sharding-jdbc-spring-boot-starter:4.0.0-RC1' // 这个是
    compile 'org.mybatis.spring.boot:mybatis-spring-boot-starter:1.3.2'
    compile 'mysql:mysql-connector-java:8.0.15'
    annotationProcessor 'org.projectlombok:lombok:1.18.8'
    compileOnly 'org.projectlombok:lombok:1.18.8'
    testCompile 'org.springframework.boot:spring-boot-starter-test'
}
复制代码
　　2. sharding-jdbc的配spring# 相关的配置  shardingsphere:

复制代码
# 是否展示sql
    props:
      sql:
        show: true
    # 数据源配置
    datasource:
      # 数据源名称
      names: ds1
      # 数据源名称对应的连接池，url，用户名和密码配置
      ds1:
        # 数据库连接池类型：HikariDataSource 是springboot自带的数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding1?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
复制代码
　　3.  编写启动类，springboot单元测试，进行数据库的插入，即可

 

2. sharding-jdbc的相关配置，以及分库分表

　　1. 同库水平分表

复制代码
spring:
# 相关的配置
  shardingsphere:
    props:
      sql:
        show: true
    datasource:
      names: ds1
      ds1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbcUrl: jdbc:mysql://localhost:3306/sharding1?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        username: root
        password: root
    sharding:
      tables:
        # 这个地方注意： sharding-jdbc会根据名称去找本节点，所以写sql的时候，要写此节点的名称
        t_student:
          # 表达式， 健康节点： 根据上一个节点找到此值， {1..2}为groovy语言，$会替换成{1..2}的一个值，数据库表是: t_student_1 , t_student_2
          # 这个配置是告诉sharding有多少个表
          actual-data-nodes: ds1.t_student_$->{1..2}
          # 主键生成策略
          key-generator:
            # 对应的数据库表的主键
            column: n_id
            # 生成方式， 雪花模式
            type: SNOWFLAKE
          # 配置其分片策略和分片算法
          table-strategy:
            # 行表达式
            inline:
              # 配置sharding的计算列
              sharding-column: n_id
              # 配置sharding的表达式,对应的n_id必须和sharding-column的值对应，否则报错
              algorithm-expression: t_student_$->{n_id % 2 +1}
复制代码
　　2. 水平分库，在水平分库基础上进行水平分表

复制代码
spring:
# 相关的配置
  shardingsphere:
    props:
      sql:
        show: true
    datasource:
      # 配置数据源的名称
      names: ds1,ds2
      # 第一个数据源
      ds1:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding1?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
      # 第二个数据源
      ds2:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding2?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
    # 分库的策略
    sharding:
      tables:
        # 这个地方注意： sharding-jdbc会根据名称去找本节点，所以写sql的时候，要写此节点的名称
        t_student:
          # 配置数据库的分库策略
          database-strategy:
            # 行表达式模式
            inline:
              # 选择需要分库的字段，根据那个字段进行区分
              sharding-column: n_card
              # 表达式，c_card需要和上面的一致，groovy表达式
              algorithm-expression: ds$->{n_card % 2 + 1}
          # 表达式， 健康节点： 根据上一个节点找到此值， {1..2}为groovy语言，$会替换成{1..2}的一个值，数据库表是: t_student_1 , t_student_2
          # 这个配置是告诉sharding有多少个表
          actual-data-nodes: ds1.t_student_$->{1..2}
          # 主键生成策略
          key-generator:
            # 对应的数据库表的主键
            column: n_id
            # 生成方式， 雪花模式
            type: SNOWFLAKE
          # 配置其分片策略和分片算法
          table-strategy:
            # 行表达式
            inline:
              # 配置sharding的计算列
              sharding-column: n_id
              # 配置sharding的表达式,对应的n_id必须和sharding-column的值对应，否则报错
              algorithm-expression: t_student_$->{n_id % 2 +1}

mybatis.configuration.map-underscore-to-camel-case: true
复制代码
　　3.垂直分库

复制代码
spring:
# 相关的配置
  shardingsphere:
    props:
      sql:
        show: true
    datasource:
      # 配置数据源的名称
      names: ds1,ds2,ds3
      # 第一个数据源
      ds1:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding1?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
      # 第二个数据源
      ds2:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding2?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
      # 配置垂直分库策略
      ds3:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding3?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
    # 分库的策略
    sharding:
      tables:
        # 垂直分库、分表，其实就是写死了
        t_course:
          database-strategy:
            inline:
              sharding-column: n_id
              algorithm-expression: ds3
        # 虽然垂直分库没有必要但是还要配置一下分表规则
#          table-strategy:
#            inline:
#              sharding-column: n_id
#              algorithm-expression: t_course

        # 水平分库、分表
        # 这个地方注意： sharding-jdbc会根据名称去找本节点，所以写sql的时候，要写此节点的名称
        t_student:
          # 配置数据库的分库策略
          database-strategy:
            # 行表达式模式
            inline:
              # 选择需要分库的字段，根据那个字段进行区分
              sharding-column: n_card
              # 表达式，c_card需要和上面的一致，groovy表达式
              algorithm-expression: ds$->{n_card % 2 + 1}
          # 表达式， 健康节点： 根据上一个节点找到此值， {1..2}为groovy语言，$会替换成{1..2}的一个值，数据库表是: t_student_1 , t_student_2
          # 这个配置是告诉sharding有多少个表
          actual-data-nodes: ds1.t_student_$->{1..2}
          # 主键生成策略
          key-generator:
            # 对应的数据库表的主键
            column: n_id
            # 生成方式， 雪花模式
            type: SNOWFLAKE
          # 配置其分片策略和分片算法
          table-strategy:
            # 行表达式
            inline:
              # 配置sharding的计算列
              sharding-column: n_id
              # 配置sharding的表达式,对应的n_id必须和sharding-column的值对应，否则报错
              algorithm-expression: t_student_$->{n_id % 2 +1}

mybatis.configuration.map-underscore-to-camel-case: true
复制代码
　　4. 读写分离，sharding-jdbc只负责路由，即：帮助我们把select或者insert、update、delete路由到不同的数据库上，但是不会帮助我们同步数据库数据

　　

复制代码
spring:
# 相关的配置
  shardingsphere:
    props:
      sql:
        show: true
    datasource:
      # 配置数据源的名称
      names: ds1,ds2,ds3
      # 第一个数据源
      ds1:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding1?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
      # 第二个数据源
      ds2:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding2?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
      # 配置垂直分库策略
      ds3:
        # 数据库连接池
        type: com.zaxxer.hikari.HikariDataSource
        # 数据库驱动
        driver-class-name: com.mysql.jdbc.Driver
        # 数据库链接
        jdbcUrl: jdbc:mysql://localhost:3306/sharding3?serverTimezone=CTT&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true
        # 数据库用户名
        username: root
        # 数据库密码
        password: root
    # 分库的策略
    sharding:
      tables:
        # 垂直分库、分表，其实就是写死了
        t_course:
          database-strategy:
            inline:
              sharding-column: n_id
              algorithm-expression: ds3
        # 虽然垂直分库没有必要但是还要配置一下分表规则
#          table-strategy:
#            inline:
#              sharding-column: n_id
#              algorithm-expression: t_course

        # 水平分库、分表
        # 这个地方注意： sharding-jdbc会根据名称去找本节点，所以写sql的时候，要写此节点的名称
        t_student:
          # 配置数据库的分库策略
          database-strategy:
            # 行表达式模式
            inline:
              # 选择需要分库的字段，根据那个字段进行区分
              sharding-column: n_card
              # 表达式，c_card需要和上面的一致，groovy表达式
              algorithm-expression: ds$->{n_card % 2 + 1}
          # 表达式， 健康节点： 根据上一个节点找到此值， {1..2}为groovy语言，$会替换成{1..2}的一个值，数据库表是: t_student_1 , t_student_2
          # 这个配置是告诉sharding有多少个表
          actual-data-nodes: ds1.t_student_$->{1..2}
          # 主键生成策略
          key-generator:
            # 对应的数据库表的主键
            column: n_id
            # 生成方式， 雪花模式
            type: SNOWFLAKE
          # 配置其分片策略和分片算法
          table-strategy:
            # 行表达式
            inline:
              # 配置sharding的计算列
              sharding-column: n_id
              # 配置sharding的表达式,对应的n_id必须和sharding-column的值对应，否则报错
              algorithm-expression: t_student_$->{n_id % 2 +1}

      # 主从规则，未做验证
      master-slave-rules:
        # 随机起一个名称，如果配置主从，那么需要修改分表策略：：：公共表修改
        # 分表策略改成： spring.shardingsphere.sharding.tables.t_public.actual-data-nodes=ms0.t_public
        # ms0 主从已经指向了 ds1、ds2数据源
        ms0:
          # 主节点
          master-data-source-name: ds1
          # 从节点
          slave-data-source-names: ds2


mybatis.configuration.map-underscore-to-camel-case: true
复制代码
 

分类: sharding-jdbc

阳光帅青年
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Springboot 集成 Sharding-sphere 进行分库分表yaml配置--雪花算法
yunnuo的博客
05-30 1440
该文章介绍了springboot集成sharding-sphere，采用雪花算法实现分库分表的功能
ShardingSphere 5.3 系列Spring 配置升级指南 | Spring Cloud 47
热门推荐
gmHappy
05-10 1万+
在 `5.3.0` 版本以前，`ShardingSphere-JDBC` 同时支持 `Java API`、`YAML`、`Spring Boot Starter` 和 `Spring Namespace` 等配置方式。 - 当新增或更新 API 时，需要调整多项配置文件，工作量大 - 社区需要维护多重配置文档和示例 - `Spring Bean` 生命周期管理容易受到项目其他依赖的影响，比如 `PostProcessor` 无法正常执行 - `Spring Boot Starter` 和 `Spring N
14-ShardingSphere的分布式主键实现
最新发布
JavaEdge全是干货的技术号
06-05 730
ShardingSphere的分布式主键设计非常独立，本文各种分布式主键实现完全可直接套用到日常开发。无论ShardingSphere自身实现的SnowflakeShardingKeyGenerator，还是基于第三方框架实现的 LeafSegmentKeyGenerator 和 LeafSnowflakeKeyGenerator，都为我们使用分布式主键提供直接解决方案。分布式主键关注我，紧跟本系列专栏文章，咱们下篇再续！
shardingsphere按年月分库分表实战
ITwenhao的博客
11-17 3655
shardingsphere按年月分库分表实战
Spring Boot集成sharding-jdbc快速入门Demo
HBLOG
05-21 694
目前新版已经更名为ShardingSphere-JDBC ，ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC；
shardingsphere5.1.1分表分库yaml配置 自定义策略
HaSaKing的博客
03-02 8183
shardingsphere5.1.1版本
简单上手ShardingSphere-jdbc5.1.1各种yml和properties配置
qq_40297463的博客
11-17 5647
简单上手ShardingSphere-jdbc5.1.1各种yml和properties配置
shardingsphere升级至5.1.2配置遇坑
Tom_kobe的博客
12-21 1193
动态数据源配置，这个配置类一定要通过org.springframework.boot.autoconfigure.AutoConfiguration.imports文件扫描出来，否则会出现。从源码中可以看出ShardingSphereAutoConfiguration中的databaseName获取到的是spring.shardingsphere.database.name。因为我的分片逻辑是按月分表，所有还有一个的问题，说数据库中不存在tableName202301这张表，但是数据库中是存在这张表的。
jdbc sharding yml配置_sharding-jdbc4.0入门
weixin_39779928的博客
12-02 559
Sharding-jdbc 简介Sharding-JDBC是ShardingSphere的第一个产品，也是ShardingSphere的前身。 它定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。适用于任何基于JDBC的ORM框架，如：JPA, Hibe...
读写分离操作(Sharding-JDBC)
愿你有前程可奔赴，亦有青春可回顾
05-19 562
作用 实现读写分离 背景 Sharding-JDBC 介绍 使用方法 使用Sharding-JDBC实现读写分离步骤: 导入maven坐标 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.1.1&lt
springboot+shardingjdbc4.0+yml配置单库分表+根据年月份进行分表
you_are_my_life的博客
05-14 2604
1.下面已经实现了根据ID进行分表，使用的是shardingJDBC ID 生成策略为 SNOWFLAKE 2.自己传ID进来也可以根据ID进行分表 3.自己建表这些，mybatis配置这些，就不用多说了吧，只需要下面的配置就可以使用了，但是要注意配置文件中的每个参数名的配置层级，我在进行配置的时候，就是因为参数层级位置不对的问题弄了一下午，比如spring下面是shardingsphere 必须严格按照层级问题，重点注意 需要使用到的pom，需要注意如果shardingJDBC要和druid一起使用
ShardingSphere配置文件解读
m0_55778968的博客
04-26 3239
application.yml的配置文件 解读 spring: shardingsphere: # 属性配置 props: # 是否开启 SQL 显示，默认值: false sql: show: true # 数据源配置，可配置多个 datasource: # 本案例中配置了两个数据源，分别对应刚才创建的两个 MySQL 容器 names: ds0,ds1 ds0: type:
ShardingSphere简单分库分表实现（根据int分库，根据时间分表）
weixin_39080216的博客
07-20 2373
1.背景 公司最近的项目开发中有一个数据库表，在给甲方部署试运行阶段发现有一个接口查询速度特别慢，然后经过排查发现，这个数据库表的的数据每天以6000-9000条的量激增，两个多月的时间已经60多万条。然后经过开会讨论，决定从两方面下手，一方面就是优化数据库结构，另一方面就是分库分表。虽然最终采用的是优化数据库的方式解决问题，在这之前，研究学习了大概一上午时间也简单实现了分库分表的方式解决了问题，查询速度得到了明显的提高。在此做一个简单的记录。 2.技术路线 目前比...
springboot整合mybatisplus+shardingsphere
huzi_1998的博客
04-21 2270
shardingsphere+mybatisplus分库分表操作
sharding-jdbc-spring-boot-starter 整合 mybatis-plus-boot-starter + druid
蕃薯耀的博客
10-21 1656
sharding-jdbc-spring-boot-starter 整合 mybatis-plus-boot-starter +druid sharding-jdbc整合mybatis-plus +druid shardingsphere分库分表 ================================ ©Copyright 蕃薯耀 2020-10-21 https://www.c...
shardingsphere配置druid监控数据库配置
weixin_43925597的博客
03-01 962
Druid Shardingsphere 数据库监控
springboot+shardingjdbc+mybatis+oracle与mysql坑
lovezhaohaimig的博客
10-20 2269
随着公司的业务增长，从一个工厂单表对应的数据量到达为2个亿数据量，现在引入4个工厂数据估计数量到达10个亿数据量，考虑后期数据量导致数据表崩溃。想引入现在比较流行的分库分表shardingjdbc技术，由于只分表不库的功能，按照厂site进行分成四张表。 ...
SpringBoot+Mybatis+ShardingSphere整合，简单实现读写分离
qq_39946015的博客
09-29 3252
本篇主要记录对ShardingSphere的整合，SpringBoot+Mybatis的整合详见之前的文章https://blog.csdn.net/qq_39946015/article/details/120549447 对于ShardingSphere的整合，主要是进行配置，配置正确，shardingSphere就能够自动的帮我们做读写分离。 application.yml mybatis: configuration: log-impl: org.apache.ibatis.
ShardingSphere-JDBC整合druid配置数据源
zwjzone的博客
04-24 1万+
ShardingSphere-jdbc整合druid开启监控
shardingsphere-jdbc的yaml的配置规则
03-29
ShardingSphere-JDBC 的 YAML 配置规则如下： 1. 数据源配置 ```yaml dataSources: ds0: url: jdbc:mysql://localhost:3306/db0?serverTimezone=UTC username: root password: root driverClassName: com.mysql.jdbc.Driver ds1: url: jdbc:mysql://localhost:3306/db1?serverTimezone=UTC username: root password: root driverClassName: com.mysql.jdbc.Driver ``` 2. 分片规则配置 ```yaml shardingRule: tables: user: actualDataNodes: ds$->{0..1}.user$->{0..1} tableStrategy: standard: shardingColumn: user_id preciseAlgorithmClassName: com.xxx.PreciseShardingAlgorithm rangeAlgorithmClassName: com.xxx.RangeShardingAlgorithm shardingAlgorithmClassName: com.xxx.ComplexKeysShardingAlgorithm keyGenerateStrategy: column: user_id type: SNOWFLAKE ``` 3. 数据库和表的默认分片策略 ```yaml defaultDatabaseStrategy: standard: shardingColumn: user_id preciseAlgorithmClassName: com.xxx.PreciseShardingAlgorithm rangeAlgorithmClassName: com.xxx.RangeShardingAlgorithm shardingAlgorithmClassName: com.xxx.ComplexKeysShardingAlgorithm defaultTableStrategy: none: ``` 4. 数据源和表的映射关系配置 ```yaml props: sql: show: true # 从库负载均衡策略 executor.size: 20 executor.keepAliveSeconds: 300 executor.blockQueueSize: 1000 executor.threadFactory: net.sourceforge.jtds.jdbc.ThreadFactoryImpl slave.load.balance.strategy.type: ROUND_ROBIN slave.load.balance.algorithm.type: HASH # 执行超时时间 max.timeout.milliseconds: 2000 # 是否打印 SQL sql.show: true # 是否打印 SQL 时输出原始 SQL sql.simple: false # 是否开启动态表路由 dynamic.table: true # 是否允许表规则不存在，如果不存在则直接路由到主库 allow.table.without.rule: true # 是否允许无法路由的 SQL 走主库 allow.broadcast.without.sharding: true ``` 以上就是 ShardingSphere-JDBC 的 YAML 配置规则。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值