ShardingJDBC分库分表配置文件详解

于 2024-10-06 19:00:36 发布
阅读量362 收藏 3
点赞数 3
分类专栏： 分库分表 文章标签： java 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/V_i_n_g/article/details/142730333
版权

使用 ShardingSphere 的分库分表配置文件详解

1. dataSources 部分

dataSources:
  ds_0:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://127.0.0.1:3306/damai_user_0?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
    username: root
    password: 123456
  ds_1:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://127.0.0.1:3306/damai_user_1?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
    username: root
    password: 123456

作用：

  • dataSources 是配置多个数据源的部分。在分库分表场景中，可能会涉及到多个数据库实例（即多个数据源）。
  • 这里定义了两个数据源，ds_0 和 ds_1，分别对应两个不同的数据库 damai_user_0 和 damai_user_1。这两个数据库的表结构相同，但用于存储不同的数据片（分片）。
  • 使用 Hikari 连接池（com.zaxxer.hikari.HikariDataSource）来管理数据库连接。
  • 通过 jdbcUrl、username 和 password 来配置数据库的连接地址和认证信息。

2. rules 部分

rules 部分定义了 ShardingSphere 的分库分表规则、加密规则等，整体上负责定义数据的分布策略和安全策略。

2.1 !SHARDING 分库分表部分
- !SHARDING
  tables:
    d_user_mobile:
      actualDataNodes: ds_${0..1}.d_user_mobile_${0..1}
      databaseStrategy:
        standard:
          shardingColumn: mobile
          shardingAlgorithmName: databaseUserMobileHashModModel    
      tableStrategy:
        standard:
          shardingColumn: mobile
          shardingAlgorithmName: tableUserMobileHashMod

分库分表规则的核心：

  • !SHARDING 表示启用分片（Sharding）规则。
  • tables 下列出了需要进行分片的表（例如 d_user_mobile）。

字段解释：

  • actualDataNodes：表示实际的数据节点，ds_${0..1}.d_user_mobile_${0..1} 代表 ds_0 和 ds_1 数据源中的 d_user_mobile_0 和 d_user_mobile_1 4 张表。这种形式表示 ShardingSphere 会根据分片规则自动路由到这些表。
  • databaseStrategy：定义了如何将数据路由到不同的数据库（即 ds_0 或 ds_1）。standard 表示标准分片策略，这里使用 mobile 字段作为分片键，且使用名为 databaseUserMobileHashModModel 的分片算法。
  • tableStrategy：定义了如何将数据路由到不同的表（即 d_user_mobile_0 或 d_user_mobile_1）。与 databaseStrategy 类似，tableStrategy 也使用 mobile 字段作为分片键，使用 tableUserMobileHashMod 算法。

其他表（如 d_user_email、d_user、d_ticket_user）的分片配置类似，只是分片键不同（如 email、id、user_id）。

2.2 分片算法部分
shardingAlgorithms:
  databaseUserMobileHashModModel:
    type: HASH_MOD
    props:
      sharding-count: 2
  tableUserMobileHashMod:
    type: HASH_MOD
    props:
      sharding-count: 2

作用：

  • shardingAlgorithms 定义了具体的分片算法。
  • databaseUserMobileHashModModel 使用了 HASH_MOD 算法（哈希取模）来对数据库进行分片，sharding-count: 2 表示会将数据分散到两个数据库（ds_0 和 ds_1）。
  • tableUserMobileHashMod 同样使用 HASH_MOD 算法来对表进行分片，sharding-count: 2 表示会将数据分散到两个表（如 d_user_mobile_0 和 d_user_mobile_1）。
  • 对于其他表，也定义了类似的分片算法（如 databaseUserEmailHashModModel、tableUserEmailHashMod 等）。
2.3 !ENCRYPT 数据加密部分
- !ENCRYPT
  tables:
    d_user:
      columns:
        mobile:
          cipherColumn: mobile
          encryptorName: user_encryption_algorithm
        password:
          cipherColumn: password
          encryptorName: user_encryption_algorithm
        id_number:
          cipherColumn: id_number
          encryptorName: user_encryption_algorithm

作用：

  • !ENCRYPT 表示启用了数据加密功能，用于对表的特定列进行加密。
  • tables 中列出了需要加密的表和对应的字段。

字段解释：

  • cipherColumn：指定实际存储加密数据的列名，这里直接与原列名相同，意味着加密后的数据会覆盖原数据。
  • encryptorName：引用了在 encryptors 部分定义的加密算法，表示对该字段进行加密。
2.4 加密算法部分
encryptors:
  user_encryption_algorithm:
    type: SM4
    props:
      sm4-key: d3ecdaa11d6ab89e1987870186073eaa
      sm4-mode: CBC
      sm4-iv: 1afc7fdce9ebc393f693cd3d23e35ed2
      sm4-padding: PKCS7Padding

作用：

  • encryptors 定义了具体的加密算法。
  • user_encryption_algorithm 使用了 SM4 算法（中国国家密码标准），并使用了 CBC 模式。
  • 配置中的 sm4-key 是加密密钥，sm4-iv 是初始化向量（IV），sm4-padding 为填充方式（PKCS7Padding）。

这个加密算法会对 d_user 表中的 mobile、password、id_number 以及 d_user_mobile 表中的 mobile 字段进行加密，保证在数据库中存储的都是加密后的数据。

3. props 部分

props:
  sql-show: true

作用：

  • sql-show: true 用于调试，开启后 ShardingSphere 会在日志中打印实际执行的 SQL 语句，方便开发人员查看分库分表后的 SQL 路由情况。

总结

这份 ShardingSphere 配置文件做了以下几件事：

  1. 定义了两个数据源（ds_0 和 ds_1），用于实现数据库的分库。
  2. 使用了标准分片策略对表 d_user_mobile、d_user_email、d_user、d_ticket_user 进行分库分表，确保数据能够分散到不同的数据库实例和表中。
  3. 定义了 HASH_MOD 和 MOD 两种分片算法，基于字段如 mobile、email、id 进行数据分片。
  4. 启用了加密功能，对特定表的敏感字段（如 mobile、password、id_number）进行了加密，确保数据安全性。
  5. 配置了加密算法 SM4，并开启了 SQL 打印功能，方便调试

完整配置文件

dataSources:
  # 第一个用户库
  ds_0:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://127.0.0.1:3306/damai_user_0?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
    username: xxx
    password: xxx
  # 第二个用户库
  ds_1:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://127.0.0.1:3306/damai_user_1?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
    username: xxx
    password: xxx

rules:
  # 分库分表规则
  - !SHARDING
    tables:
      # 对d_user_mobile表进行分库分表
      d_user_mobile:
        # 库为damai_user_0 damai_user_1 表为d_user_mobile_0 至 d_user_mobile_1
        actualDataNodes: ds_${0..1}.d_user_mobile_${0..1}
        # 分库策略
        databaseStrategy:
          standard:
            # 使用mobile作为分片键
            shardingColumn: mobile
            # 用user_mobile列使用hash取模作为分库算法
            shardingAlgorithmName: databaseUserMobileHashModModel
        # 分表策略      
        tableStrategy:
          standard:
            # 使用mobile作为分片键
            shardingColumn: mobile
            # 用user_mobile列使用hash取模作为分表算法
            shardingAlgorithmName: tableUserMobileHashMod
      # 对d_user_email表进行分库分表
      d_user_email:
        # 库为damai_user_0 damai_user_1 表为d_user_email_0 至 d_user_email_1
        actualDataNodes: ds_${0..1}.d_user_email_${0..1}
        # 分库策略
        databaseStrategy:
          standard:
            # 使用email作为分片键
            shardingColumn: email
            # 用user_mobile列使用hash取模作为分库算法
            shardingAlgorithmName: databaseUserEmailHashModModel
        # 分表策略      
        tableStrategy:
          standard:
            # 使用email作为分片键
            shardingColumn: email
            # 用user_mobile列使用hash取模作为分表算法
            shardingAlgorithmName: tableUserEmailHashMod
      # 对d_user表进行分库分表
      d_user:
        # 库为damai_user_0 damai_user_1 表为d_user_0 至 d_user_1
        actualDataNodes: ds_${0..1}.d_user_${0..1}
        # 分库策略
        databaseStrategy:
          standard:
            # 使用id作为分片键
            shardingColumn: id
            # 用user_mobile列使用hash取模作为分库算法
            shardingAlgorithmName: databaseUserModModel
        # 分表策略      
        tableStrategy:
          standard:
            # 使用id作为分片键
            shardingColumn: id
            # 用user_mobile列使用hash取模作为分表算法
            shardingAlgorithmName: tableUserModModel
      # 对d_ticket_user表进行分库分表
      d_ticket_user:
        # 库为damai_user_0 damai_user_1 表为d_ticket_user_0 至 d_ticket_user_1
        actualDataNodes: ds_${0..1}.d_ticket_user_${0..1}
        # 分库策略
        databaseStrategy:
          standard:
            # 使用user_id作为分片键
            shardingColumn: user_id
            # 用user_id列使用hash取模作为分库算法
            shardingAlgorithmName: databaseTicketUserModModel
        # 分表策略      
        tableStrategy:
          standard:
            # 使用user_id作为分片键
            shardingColumn: user_id
            # 用user_id列使用hash取模作为分表算法
            shardingAlgorithmName: tableTicketUserModModel
    # 具体的算法        
    shardingAlgorithms:
      # d_user_mobile表分库算法
      databaseUserMobileHashModModel:
        type: HASH_MOD
        props:
          # 分库数量
          sharding-count: 2
      # d_user_mobile表分表算法
      tableUserMobileHashMod:
        type: HASH_MOD
        props:
          # 分表数量
          sharding-count: 2
      # d_user_email表分库算法
      databaseUserEmailHashModModel:
        type: HASH_MOD
        props:
          # 分库数量
          sharding-count: 2
      # d_user_email表分表算法
      tableUserEmailHashMod:
        type: HASH_MOD
        props:
          # 分表数量
          sharding-count: 2
      # d_user表分库算法
      databaseUserModModel:
        type: MOD
        props:
          # 分库数量
          sharding-count: 2
      # d_user表分表算法
      tableUserModModel:
        type: MOD
        props:
          # 分表数量
          sharding-count: 2
      # d_ticket_user表分库算法
      databaseTicketUserModModel:
        type: MOD
        props:
          # 分库数量
          sharding-count: 2
      # d_ticket_user表分表算法
      tableTicketUserModModel:
        type: MOD
        props:
          # 分表数量
          sharding-count: 2    
  # 加密规则
  - !ENCRYPT
    tables:
      # d_user表
      d_user:
        columns:
          # 对mobile列进行加密
          mobile:
            # 密文列mobile
            cipherColumn: mobile
            # 自定义的加密算法
            encryptorName: user_encryption_algorithm
          # 对password列进行加密
          password:
            # 密文列password
            cipherColumn: password
            # 自定义的加密算法
            encryptorName: user_encryption_algorithm
          # 对id_number列进行加密
          id_number:
            # 密文列id_number
            cipherColumn: id_number
            # 自定义的加密算法
            encryptorName: user_encryption_algorithm
      # d_user_mobile表
      d_user_mobile:
        columns:
          # 对mobile列进行加密
          mobile:
            # 密文列id_number
            cipherColumn: mobile
            # 自定义的加密算法
            encryptorName: user_encryption_algorithm
props:
  # 打印真实sql
  sql-show: true
V_i_n_g
关注
专栏目录
springboot整合sharding-jdbc实现分库分表详解
congge
05-21 6741
springboot整合sharding-jdbc实现分库分表详解
springboot整合sharding-jdbc分库分表最全详解
背景模版
09-02 3539
最近公司一个新项目，需要进行分库分表，本人调研了mycat和sharding-jdbc后决定使用sharding-jdbc来进行分库分表，至于这两个的区别以及特点可以自行到官网查看，mycat更偏向于运维部署层面的分库分表，基于插件来动态代理，sharding-jdbc是基于jar包依赖的配置，调研后就是demo的编写。按照我下面的讲解保证能够搭建成功，并且对于一些可能出现的问题也会提醒注意。 ...
ShardingJDBC 分库分表详解
2301_76957510的博客
03-29 284
是一套开源的分布式数据库解决方案组成的生态圈，它由JDBCProxy和Sidecar（规划中）这3款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。
sharding-JDBC分库分表配置分析
养歌的博客
11-22 4082
什么是ShardingSphere Apache ShardingSphere 由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。 它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。 详细资料点击官网地址. 分库分表解决什么问题 为什么要分库分表？ 分库分表就是为了解决由于数据量（比如电商的订单）过大而导致数据库性能（CPU、内存、磁盘、网络）降低的问题，将原本单个数据库拆
Sharding-JDBC分库分表-自动配置与分片规则加载原理-3
Alexon Xu的博客
09-03 707
分片规则、审计规则、key生成规则都是通过SPI的方式加载，自动配置类ShardingSphereAutoConfiguration中创建ShardingSphereDataSource的时候，会加载配置的分片规则，创建核心配置类ShardingRule，在ShardingRule的创建中会通过SPI的方式加载分片规则。其中，创建数据源bean时会根据不同的模式创建不同的bean，本地模式直接从配置文件中加载，配置中心模式就从配置中心加载。
SpringBoot+Sharding-JDBC操作分库分表（超超超详细）
热门推荐
1-只小猴子的博客
06-16 3万+
什么是Sharding-JDBC？什么是分库分表？为什么要分库分表？ 可查看本篇博客： Apache——ShardingSphere(分布式数据库中间件、对于分库分表的操作利器) Sharding-JDBC操作分库分表
Spring整合Sharding-JDBC分库分表详情
feiyangtianyao的专栏
08-19 6693
Spring整合Sharding-JDBC分库分表详情 一、概述 最初线上系统的业务量不是很大，业务数据量并不大，比如说单库的数据量在百万级别以下（事实上千万级别以下都还能支撑），那么MySQL的单库即可完成任何增/删/改/查的业务操作。随着业务的发展，单个DB中保存的数据量（用户、订单、计费明细和权限规则等数据）呈现指数级增长，那么各种业务处理操作都会面临单DB的IO读写瓶颈带来的性能问题。 S...
Sharding-JDBC--读写分离+分库分表
IT利刃出鞘的博客
06-09 927
其他网址 数据库读写分离、分库分表——mycat与shardingjdbc_敲代码的旺财的博客-CSDN博客ShardingJDBC-分库分表_wolfcode_cn的博客-CSDN博客_shardingjdbc分库分表Sharding-JDBC教程：SpringBoot整合Sharding-JDBC实现分库分表+读写分离_方志朋的专栏-CSDN博客_sharding-jdbcspringboot ...
分库分表中间件Sharding-JDBC详解
靖节先生的博客
08-22 2807
分库分表中间件Sharding-JDBC详解1. 分库分表概述1.1 为什么需要分库分表1.2 分库分表的方式1.2.1.垂直分表1.2.2.垂直分库1.2.3.水平分库1.2.4.水平分表1.3 分库分表问题分析1.3.1 事务一致性问题1.3.2 跨节点关联查询1.3.3 跨节点分页、排序函数1.3.4 主键避重1.3.5 公共表2. Sharding-JDBC详解2.1 Sharding-JDBC简介2.2 Sharding-JDBC性能对比2.3 Sharding-JDBC原理分析3. 实现验证3.
sharding-jdbc之——分库分表实例完整源码
02-25
**标题与描述解析** ...以上就是围绕Sharding-JDBC分库分表实例的详细知识点，通过这些内容，开发者可以了解到如何在实际项目中利用Sharding-JDBC进行数据库的水平扩展，并掌握其核心功能和使用技巧。
热点技术讲解：ShardingJdbc分库分表实战案例解析（上）
09-20 473
在对诸如订单、交易、支付等实时在线业务系统的研发、维护过程中，随着业务量的快速增长，我们经常会遇到由于关系型数据库（如:MySql）单表数据量增长过大而引发的线上事故；虽然这些事故多数时候是由于不合理的慢SQL而引起的系统雪崩，但有时也会出现由于数据库热点块IO争用而引发的系统性性能下降。总之，单表数据量的无限增长总是会在这样或那样的情况下增加系统的不稳定性因素。 所以在大规模实时系统的设计中，除了重点考虑应用结构的分布式化外，往往也不应该忽略数据库实时存储、计算能力扩展性方面的考虑。目前解决实时数据增长.
shardingjdbc每月分表_springboot整合sharding-jdbc实现按月份分表mysql
weixin_39845306的博客
01-17 1560
这里只是简单的根据月份来进行分表，效果如图所示：1、加入依赖文件:io.shardingspheresharding-jdbc-spring-boot-starter3.0.0.M2io.shardingspheresharding-jdbc-spring-namespace3.0.0.M22.配置properties文件sharding.jdbc.driver=com.mysql.jdbc.Dr...
C语言 | 第十章 | 函数 作用域
最新发布
ZJC744575的博客
10-05 924
为完成某一功能的程序指令(语句)的集合,称为函数。在C语言中,函数分为:自定义函数、系统函数(查看C语言函数手册)函数还有其它叫法，比如方法等，在本视频课程中，我们统一称为 函数。返回类型 函数名（形参列表）{执行语句...;// 函数体return 返回值;// 可选形参列表：表示函数的输入函数中的语句：表示为了实现某一功能代码块函数可以有返回值,也可以没有, 如果没有返回值，返回类型 声明为 void。
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 447
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
Spring Cloud全解析：服务调用之OpenFeign集成OkHttp
Lxn2zh的博客
09-30 861
HTTP连接需要进行TCP三次握手，是一个比较耗时的操作，一般我们不直接使用HttpURLConnection，而是使用HttpClient/okHttp等支持连接池的客户端工具，以Feign集成OkHttp为例。OpenFeign本质是HTTP来进行服务调用的，也就是需要集成一个Http客户端。默认是HttpURLConnection方式，也就是jdk中提供的最原始的那个。要开启OkHttp ,还需要在YML 中添加开启配置项，默认是关闭的。使用的是Client接口来进行请求的。
spring-boot 整合 mybatis
m0_72168501的博客
09-29 553
spring boot 整合 mybatis
Java内存布局
阿呆的专栏
10-01 804
64位 JVM 不启用指针压缩时：Object Header 大小是16字节。64位 JVM 启用指针压缩时（默认）：Object Header 大小是12字节。32位 JVM：Object Header 大小是8字节。JVM在默认情况下启用指针压缩，但如果堆内存超过32GB，就会禁用指针压缩。32GB是压缩指针的最大寻址范围。超过32GB的堆内存中，压缩指针带来的性能提升并不显著，而且需要解压指针反而可能增加开销。
C#基础：掌握控制流语句，构建灵活的程序逻辑
学习和分享
09-28 343
在C#中，控制流语句是用来控制程序执行流程的重要部分。它们允许你根据条件执行不同的代码块，或者重复执行某些代码块直到满足特定条件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值