ShardingSphere-Proxy 5.0 分库分表（一）

已于 2022-07-26 13:04:54 修改
阅读量1.4k 收藏 3
点赞数
分类专栏： 分库分表 文章标签： mysql ShardingSphere 分库分表
于 2022-03-21 13:26:21 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Fu_Shi_rong/article/details/123618675
版权

文章目录

一、简述

  • 简述
    ShardingSphere-Proxy4.0 已经升级到5.0了，但是两者的配置文件还有一定的差别的，这篇文章讲述的就是ShardingSphere-Proxy 5.0 的落地。概念、分表、分库、分库分表的原理的基本和4.0一样的，需要了解可查看 https://blog.csdn.net/Fu_Shi_rong/article/details/123541413?spm=1001.2014.3001.5501。
  • 开发者文档
    https://shardingsphere.apache.org/document/current/cn/dev-manual/

二、ShardingSphere-Proxy5.0 落地

  • 环境

    • JAVA JDK下载

      https://pan.baidu.com/s/1A-ksNN0YicT3hXjFscGGwA 
提取码：r9e0

    • JDBC数据连接驱动下载

      https://pan.baidu.com/s/1924iUe7wxGpStAzxxv2K3g 
提取码：jy7z

    • ShardingSphere-Proxy 5.0 下载、

      https://archive.apache.org/dist/shardingsphere/5.0.0/

    • Window 11

  • 落地

    • 条件

      1. 真实数据库
      2. 逻辑数据库
      3. ShardingSphere-Proxy5.0 配置文件

    • 步骤

      1. 新建真实数据库和表【hmms.user 表为例】

        • 数据库表结构语句

          SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS `user`;
CREATE TABLE `user`  (
  `useid` int(11) NOT NULL,
  `usenam` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '登录名',
  `usepwd` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '登录密码',
  `usestate` int(11) NULL DEFAULT 2 COMMENT '-1：删除1：注销 2：正常 3：挂失',
  `usekey` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '用户秘钥',
  `usetel` varchar(11) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '用户手机',
  `createbyid` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '添加人',
  `createbytime` datetime(0) NULL DEFAULT NULL COMMENT '添加时间',
  `modifybyid` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '修改人',
  `modifybytime` datetime(0) NULL DEFAULT NULL COMMENT '修改时间',
  PRIMARY KEY (`useid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
SET FOREIGN_KEY_CHECKS = 1;

        • 运行结果如下：

          在这里插入图片描述

      2. 修改ShardingSphere-Proxy5.0 配置文件，并连接

        config-sharding.yaml

        # 3、创建客户端连接库
schemaName: hmms

#1、连接mysql
dataSources:
  hmmsdatasources-0:
    url: jdbc:mysql://localhost:3306/hmms?serverTimezone=UTC&useSSL=false
    username: root
    password: ****
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1
    
# 2、分片规则
rules:
- !SHARDING
  tables:
    user: #表名
      actualDataNodes: hmmsdatasources-0.user-${0..1}  #分表规则
      tableStrategy:
        standard:
          shardingColumn: useid   #分片键
          shardingAlgorithmName: use_MOD  #分表算法
  shardingAlgorithms:  #分表算法
    use_MOD:  #取模算法
      type: MOD
      props:
        sharding-count: 2

        server.yaml

        rules:
  - !AUTHORITY
    users:
      - root@%:*****
      - sharding@:sharding
    provider:
      type: ALL_PRIVILEGES_PERMITTED

        运行命令

        #在ShardingSphere-Proxy bin
start.bat 端口号

        运行结果如下：

        在这里插入图片描述

      3. 新建逻辑数据连接，并执行表结构和数据脚本

        逻辑库执行结果如下：

        在这里插入图片描述

        逻辑数据库添加两条数据

        SQL语句

        INSERT INTO `user` VALUES (1, 'admin', '202CB962AC59075B964B07152D234B70', 2, '123', '123123', 'xiaogang', '2021-08-25 20:12:15', 'xiaogang', NULL);
INSERT INTO `user` VALUES (2, 'admin', '202CB962AC59075B964B07152D234B70', 2, '123', '123123', 'xiaogang', '2021-08-25 20:12:15', 'xiaogang', NULL);

        执行结果如下：

        在这里插入图片描述
        在这里插入图片描述

    • 分库分表
      ShardingSphere-Proxy 5.0 配置

      # 3、创建客户端连接库
schemaName: hmms

#1、连接mysql
dataSources:
  hmmsdatasources-0:
    url: jdbc:mysql://主机地址:端口号/hmms-0?serverTimezone=UTC&useSSL=false
    username: root
    password: 密码
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1

  hmmsdatasources-1:
    url: jdbc:mysql://主机地址:端口号/hmms-1?serverTimezone=UTC&useSSL=false
    username: root
    password: 密码
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1
    

# 2、分片规则
rules:
- !SHARDING
  tables:
    user:
      actualDataNodes: hmmsdatasources-${0..1}.user-${0..1}   
      tableStrategy:
        standard:
          shardingColumn: useid
          shardingAlgorithmName: use_MOD
      databaseStrategy:  #分库规则
          standard:
            shardingColumn: useid
            shardingAlgorithmName: use_MOD
      keyGenerateStrategy: 
        column: useid
        keyGeneratorName: snowflake
  shardingAlgorithms:
    use_MOD:
      type: MOD
      props:
        sharding-count: 2 
    use_HASH_MOD:
      type: HASH_MOD
      props:
        sharding-count: '2'
  keyGenerators: 
    snowflake: 
       type: SNOWFLAKE
       props: 
         worker-id: 123

    • 分片算法

    1. 取模算法
     shardingAlgorithms:  #分表算法
    use_MOD:  #取模算法
      type: MOD
      props:
        sharding-count: 2  #分表数据和分表的表达式必须是一致的

  1. 范围算法

      shardingAlgorithms:
    use_BOUNDARY_RANGE:
      type: BOUNDARY_RANGE
      props:
        sharding-ranges: 2,100  #多个节点是以逗号分割  [是根据分的表结合配置节点]
 #备注
  #分片键为：useid  int类型
  #分表的为3个表
  #sharding-ranges: 2,100 是以2为节点，小于2的数据存到表0，2到99存到表1,100以上存到表3

  2. 容量算法

    shardingAlgorithms:
	use_VOLUME_RANGE:
            type: VOLUME_RANGE
            props:
              range-lower: '20000000'  #最小值
              range-upper: '40000000'  #最大值
              # 分片的区间的数据的间隔
              sharding-volume: '20000000'
 #备注
    最小值为2000万，也就是说表数据量小于等于2000万，最大数量为4000万
    表与表的间隔为2000万
    比如说分了两张表：
    1-2000万       存到表0
    2001万-4000万   存到表1
    是根据分表的数量来定义最大值的
    分了三张表，那最大值为6000万

  3. HASH-CODE算法 【如果分片键是字符串类型，需要这种算法分表】

      shardingAlgorithms:
    use_HASH_MOD:
      type: HASH_MOD
      props:
        sharding-count: '2'  #分表数量，单引号必须要加

  4. 根据时间分表算法

    shardingAlgorithms:
    use_AUTO_INTERVAL:
        type: AUTO_INTERVAL
        props:
          datetime-lower: '2020-01-01 23:59:59'
          datetime-upper: '2022-12-31 23:59:59'
          # 以1年度为单位进行划分
          sharding-seconds: '31536000'  
          # 以1个月为单位进行划分
          #sharding-seconds: '2678400'   
          # 以1天为单位进行划分
          #sharding-seconds: '86400'
 #设置的最大值必须和分多少表匹配才行，否者报错，找不到表

  • 分布式ID

    config-sharding.yaml

    # 3、创建客户端连接库
schemaName: hmms

#1、连接mysql
dataSources:
  hmmsdatasources-0:
    url: jdbc:mysql://localhost:3306/hmms?serverTimezone=UTC&useSSL=false
    username: root
    password: 1QAZ2WSX3EDC
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1
    
# 2、分片规则
rules:
- !SHARDING
  tables:
    user:
      actualDataNodes: hmmsdatasources-0.user-${0..1}
      tableStrategy:
        standard:
          shardingColumn: id
          shardingAlgorithmName: use_HASH_MOD
      keyGenerateStrategy: 
        column: id
        keyGeneratorName: snowflake
  shardingAlgorithms:
    use_MOD:
      type: MOD
      props:
        sharding-count: 2 
    use_HASH_MOD:
      type: HASH_MOD
      props:
        sharding-count: '2'
  keyGenerators: 
    snowflake: 
       type: SNOWFLAKE
       props: 
         worker-id: 123

    表结构sql语句

    SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS `user`;
CREATE TABLE `user`  (
  `id` varchar(100),
  `useid` int(11) NOT NULL,
  `usenam` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '登录名',
  `usepwd` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '登录密码',
  `usestate` int(11) NULL DEFAULT 2 COMMENT '-1：删除1：注销 2：正常 3：挂失',
  `usekey` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '用户秘钥',
  `usetel` varchar(11) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '用户手机',
  `createbyid` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '添加人',
  `createbytime` datetime(0) NULL DEFAULT NULL COMMENT '添加时间',
  `modifybyid` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '修改人',
  `modifybytime` datetime(0) NULL DEFAULT NULL COMMENT '修改时间',
  PRIMARY KEY (`useid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
SET FOREIGN_KEY_CHECKS = 1;

    数据填充语句

    INSERT INTO `user`(useid,usenam,usepwd,usestate,usekey,usetel,createbyid,createbytime,modifybyid,modifybytime) VALUES (1, 'admin', '202CB962AC59075B964B07152D234B70', 2, '123', '123123', 'xiaogang', '2021-08-25 20:12:15', 'xiaogang', NULL);

    执行结构如下：

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

@@Farmer
关注
专栏目录
ShardingSphere-proxy-5.0.0的部署之取模分片的实现(五十)
笨鸟不会飞
11-27 621
在ShardingSphere-proxy的部署之取模分片的实现(二十七)中我们讲解了基于5.0.0-alpha版ShardingSphere-proxy的部署之取模分片的实现，那么在本章我们将为大家讲解5.0.0版本ShardingSphere-proxy的部署之取模分片实现，看下和旧版的有什么区别 在前面的章节我们已经创建好了我们的取模分片的数据了，那么在本章我们直接在我们的config-sharding.yaml中配置我们的取模分片算法即可。 1、配置config-sharding.yaml # .
ShardingSphere-proxy-5.0.0的部署之分片边界的范围分片的实现(五十四)
笨鸟不会飞
11-27 715
本章基于sharding-sphere-5.0.0的基于springboot的ShardingSphere5.0.0的分库分表的解决方案之基于分片边界的范围分片算法解决方案(四十三)创建好的库表的基础上实现我们的proxy的配置的实现 1、配置config-sharding.yaml # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See t.
sharding-sphere按月动态分表
热门推荐
OliverAAAAAA的博客
06-10 1万+
公司有个记录表，每天有几百万的数据，所以我决定按月把他分下表。 用spring整合的。 首先，sharding-sphere不支持自动创建表，所以我提前创建了两年的表，命名规则 logicTableName + _2019_06 以下是官方文档上面的分片算法介绍： 由于这个记录表在业务层面，只有insert 和 query ，我就用create_datetime作为分表位，查询是有时...
使用shardingsphere进行分库分表
最新发布
一夜鱼龙舞
10-01 1487
主要记录使用shardingsphere-jdbc 5.2.0进行分库，分表，分库加分表，读写分离，自定义复合分片算法等的操作步骤。
使用Shardingsphere-jdbc 5.0.0-alpha进行分库分表
u010084384的专栏
01-28 3104
文章目录背景使用步骤1. 创建数据库schemas2. 添加依赖3. 添加配置踩过的坑需要注意的点 背景 分库官网已经有响应配置案列，但是分表没有详细的文档，这里给基于单数据源的按时间分片的demo。 使用步骤 1. 创建数据库schemas 创建数据库：demo_ds_0 在demo_ds_0下创建12个log表，表名格式t_log_202101 2. 添加依赖 在我们的springboot项目里引入以下依赖： <dependency> <groupId>org.apach
分库分表工具：Apache ShardingSphere 5.0.0-alpha 发布
zhenghhgz的博客
11-16 1797
IT实战联盟博客：http://blog.100boot.cn Apache ShardingSphere 5.0.0 发布了 alpha 版本，自上个版本 4.1.1 发布以来，Apache ShardingSphere 一直在修复社区反馈的问题、加强功能和开发新特性。 根据官方的说法，5.x 是 Apache ShardingSphere从分库分表中间件向分布式数据库生态转化的里程碑，从 4.x 版本后期开始打磨的可插拔架构在 5.x 版本已逐渐成型，项目的设计理念和 API都进行了大幅提升。 ..
shardingsphere按月分表实战
a405828的专栏
10-12 3017
shardingsphere如果要实现按月分表需要我们实现分表路由算法实现，默认是没有用。下面进入实战环节，本文所说按月份分表是相同月份的数据放入同一个表，当然如果你要每个月保存到一个表也是可以的，修改一下算法就行了。按月分表使用每个月数据都比较稳定业务场景使用，每个月数据量不会有太大的差异。在数据库创建好对应的分表，分表可以在同一个数据库也可以在不同的数据库。范围查询算法，主要针对查询条件使用>，=，
shardingsphere-proxy 5.0.0-alpha按时间分片
zdj18166896501的博客
12-14 5270
一、说明 Sharding-Proxy 5.0.0-alpha版本中内置了org.apache.shardingsphere.sharding.algorithm.sharding.datetime.AutoIntervalShardingAlgorithm按时间分片算法类。 在AutoIntervalShardingAlgorithm这个类中有几个重要的属性需要在配置文件中进行配置 public final class AutoIntervalShardingAlgorithm implement
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案（一)
笨鸟不会飞
12-30 1万+
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案(一) 假定我们现在已经使用spring boot编写了一套系统，随着我们的系统的不断使用，其中某些表的数据量已经突破了单表千万的数据量，这时候我们该怎么办呢？ShardingSphere就是你需要的解决方案，购买了专栏的小伙伴可以加微信：aaabbb158，加微信的时候请加上您购买专栏的当前账号名称的备注，我会为你解答你遇到相应的问题，同时为您提供当前专栏的源代码。 1、什么是ShardingSphere A
shardingsphere 整合 达梦数据库 实现分表分库 (包含test demo)
03-29
1、shardingsphere 并不直接支持达梦数据库，需要实现部分接口逻辑。 2、本demo并不完全支持达梦sql 3、包里面含有test demo可以直接测试 4、感谢shardingsphere 团队。 5、具体如何实现的 请查看我的博文 ...
ShardingSphere Proxy 5.x 自定义分片策略 实例 Demo
yy1653913187的博客
08-03 3673
ShardingJdbc 5.x 实现 自定义分片策略 在ShardingProxy 5.x版本和之前4.x版本的自定义分片策略写法不一样了，4.x的网上还能找到例子，但是5.x的我找了很久 也没有比较详细的例子，花了半天搞了一下 写出来给大家看看 第一步 官网下载sharding proxy最新版本5.0.0Beta 下载自己找去哈 直接baidu shardingsphere进去官网下载 里面有 找到5.0的proxy 修改两个配置文件如下 1...
ShardingSphere 5.0.0-alpha 分库分表解决方案（七）——proxy分表
scorpio的博客
01-11 1071
ShardingSphere 5.0.0-alpha ——ShardingSphere-proxy分表
ShardingSphere 5.0.0-alpha 分库分表解决方案（一）——分表
scorpio的博客
01-07 2830
ShardingSphere 5.0.0-alpha 分表解决方案
ShardingSphere 5.0.0-alpha 分库分表解决方案（二）——分库分表
scorpio的博客
01-08 719
ShardingSphere 5.0.0-alpha 分库分表解决方案
基于springboot的ShardingSphere5.X的分库分表的解决方案之广播表(二十五)
笨鸟不会飞
02-03 1432
广播表指所有的分片数据源中都存在的表，表结构和表中的数据在每个数据库中均完全一致。适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表 那么我们此处就直接使用第三章的源代码进行改造，我们在里面配置一张字典表，然后将字典表放在db1数据库。 1、库表设计和改造 1.1、字典表设计 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F70rLBDY-1612342891737)(E:\indea-base\sharding-sphere-example\doc\s.
sharding-jdbc按月分表样例
10-25
sharind-jdbc样例，当中包含了按月动态分表，一个比较简单的demo，大家可以结合自己的需求进行修改，以及可以看下实现思路，仅供参考！
ShardingSphere-jdbc-读写分离&&数据分片
qq_45735918的博客
01-07 2157
使用shardingsphere5.0实现读写分离&&数据分片
新版发布｜ShardingSphere 5.0.0-beta 来了
Tristazero的博客
02-23 508
本文将带领大家一同预览新版本即将带来哪些重大亮点功能。
apache/sharding-proxy5.0 分库分表 教程 详解
qq_45472675的博客
04-08 1639
apache/sharding-proxy 分库分表 https://shardingsphere.apache.org/document/current/en/overview/ (官方文档) sharding主要有三种接入方式 Sharding-JDBC：通过程序代码实现Sharding的介入，只是多种数据库。但是使用微服务需要多服务配置。 Sharding-proxy：通过官方提供的程序，相当于中间件实现。当做Mysql/PostgreSQL下载或通过docker在本地启动。 Sharding-
基于springboot的ShardingSphere5.0.0的分库分表的解决方案之自动时间段分片算法解决方案(四十四)
笨鸟不会飞
11-21 1401
在基于springboot的ShardingSphere5.X的分库分表的解决方案之自动时间段分片算法解决方案(二十四)中我们讲解了基于5.0.0-alpha版的自动时间段分片算法的解决方案，那么在本章我们将为大家讲解5.0.0版本自动时间段分片算法的解决方案的实现，看下和旧版的有什么区别 我们的场景还是使用之前5.0.0-alpha版本里面的那个场景： (1970-01-01 23:59:59 ~ 2020-01-01 23:59:59) 库0.表0 [2020-01-01 23:59:59 ~ 20.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值