mysql高可用分库分表ShardingSphere之Sharding-proxy

已于 2022-03-29 08:57:25 修改
阅读量3.2k 收藏 5
点赞数 2
分类专栏： 数据库 文章标签： ShardingSphere Sharding-proxy 分库分表 mysql 高可用
于 2022-03-29 01:52:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44413835/article/details/123808847
版权

文章目录

一、ShardingSphere

1.1、官网地址说明

官网地址： https://shardingsphere.apache.org/index_zh.html

本文采用Sharding-proxy代理方式进行分库分表

Sharding-proxy官网手册地址

在这里插入图片描述

1.2、为什么分库分表

  1. 单纯的主从模式，无法保证mysql的高可用
  2. 在单表大数据的情况下，会让mysql的检索性能大幅度下降
  3. 分库分表会减轻压力，提高检索速度
  4. 分库分表，读写分离

架构图：

二、官网整合说明

1.1、下载sharding-proxy

  1. 我用的版本是4.0.0
  2. 官网目前最新版本5.1.0

Sharding-Proxy下载地址
在这里插入图片描述
在这里插入图片描述

1.2、sharding-proxy集成注册中心

  1. 这个默认使用zk
  2. 这个就看文档搞就可用了
    在这里插入图片描述

1.3、查看配置手册

在这里插入图片描述

1.3.1、官网数据分片说明

Sharding-Proxy支持多逻辑数据源，每个以config-前缀命名的yaml配置文件，即为一个逻辑数据源。以下是config-xxx.yaml的配置配置示例。

其他的也一样，看官网

官网配置说明：

schemaName: sharding_db

dataSources: #定义数据源
  ds0: #数据源1
    url: jdbc:postgresql://localhost:5432/ds0
    username: root
    password: 
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 65
  ds1: #数据源2
    url: jdbc:postgresql://localhost:5432/ds1
    username: root
    password: 
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 65

shardingRule: #配置分片规则
  tables:
    t_order: #需要分片的表-订单表
      # 真实数据节点。 ds${0..1}.t_order${0..1} 表示 分成2个库ds0，ds1，2张表t_order0，t_order1
      actualDataNodes: ds${0..1}.t_order${0..1} 
      databaseStrategy:#数据库的分库策略
        inline:
          shardingColumn: user_id #按 user_id 这一列来分
          algorithmExpression: ds${user_id % 2} #指定算法 user_id对2取余，余数0取ds0库，余数1取ds1库
      tableStrategy: #分表策略
        inline:
          shardingColumn: order_id #用order_id 这个列来分
          algorithmExpression: t_order${order_id % 2} # 指定算法
      keyGenerator: #id自动生成
        type: SNOWFLAKE # 雪花算法
        column: order_id #雪花算法的id存在order_id
        
    t_order_item: #需要分片的表-订单项表
      actualDataNodes: ds${0..1}.t_order_item${0..1}
      databaseStrategy:
        inline:
          shardingColumn: user_id
          algorithmExpression: ds${user_id % 2}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_item${order_id % 2}
      keyGenerator:
        type: SNOWFLAKE
        column: order_item_id
        
  bindingTables:#指定关联表
    - t_order,t_order_item
  defaultTableStrategy: #默认分表规则
    none:

1.3.2、配置文件说明

在这里插入图片描述

三、开始整合

1. 引入mysql的驱动

  1. 4.0版本需要引入
  2. 5.0版本不需要了，看配置文件的注解就行

如图：
在这里插入图片描述
在这里插入图片描述

2. 配置认证授权信息 server.yaml

server.yaml

#服务治理模块的配置
#orchestration:
#  name: orchestration_ds
#  overwrite: true
#  registry:
#    type: zookeeper
#    serverLists: localhost:2181
#    namespace: orchestration
#

#配置2个用户  用户1[账号密码都是:root]   用户2[账号密码都是:sharding]
authentication:
  users: 
    root:
      password: root 
    sharding:
      password: sharding 
      #用户sharding的权限只能操作 sharding_db 
      authorizedSchemas: sharding_db 

#配置属性 线程数、sql打印、最大连接...     
props:
#  max.connections.size.per.query: 1
  acceptor.size: 16 
  executor.size: 16  
#  proxy.frontend.flush.threshold: 128  # The default value is 128.
#    # LOCAL: Proxy will run with LOCAL transaction.
#    # XA: Proxy will run with XA transaction.
#    # BASE: Proxy will run with B.A.S.E transaction.
#  proxy.transaction.type: LOCAL
#  proxy.opentracing.enabled: false
#  query.with.cipher.column: true
  sql.show: false

3. 配置分库分表 config-sharding.yaml

config-sharding.yaml

######################################################################################################
#
# If you want to connect to MySQL, you should manually copy MySQL driver to lib directory.
#
######################################################################################################

#数据库名称-随便叫【前提环境MySQL主从同步的配置已经搞好了】
schemaName: sharding_db
#配置数据源
dataSources:
  ds_0: #第一个主mysql，连接 demo_ds_0库
    url: jdbc:mysql://192.168.56.10:3307/demo_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50 
  ds_1: #第2个主mysql[因为没搞第二个主,就连同一个主了] 连接 demo_ds_1 库
    url: jdbc:mysql://192.168.56.10:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
#==============================================

#定义规则
shardingRule:
  tables: 
    #订单表
    t_order: 
      # ds_${0..1}和上面配置的数据源（ds_0,ds_1）对应。表划分成t_order_1、t_order_2 ,一个库里面2张表
      actualDataNodes: ds_${0..1}.t_order_${0..1}
      # 分表策略
      tableStrategy:
        inline:
          # 用order_id来分表
          shardingColumn: order_id
          # 算法->求余
          algorithmExpression: t_order_${order_id % 2}
      # order_id生成的算法，用雪花算法
      keyGenerator:
        type: SNOWFLAKE
        column: order_id
        
#-------------------------     
    #订单项表
    t_order_item:
      #分成2个库，2张表
      actualDataNodes: ds_${0..1}.t_order_item_${0..1}
      #指定分表策略
      tableStrategy:
        inline:
          #用order_id来分
          shardingColumn: order_id
          #算法-->求余
          algorithmExpression: t_order_item_${order_id % 2}
      # order_item_id 自动生成用雪花算法
      keyGenerator:
        type: SNOWFLAKE
        column: order_item_id
#-------------------------  

  #绑定表(表有关系)-好处：省得跨库找，不会产生笛卡儿积，速度快，效率高
  bindingTables:
    - t_order,t_order_item
#-------------------------

   
  #数据库策略-分库策略====>流程：先用user_id进行了分库。然后在根据order_id来分表
  defaultDatabaseStrategy:
    inline:
      # 用user_id 列来分
      shardingColumn: user_id
      # 算法 -->求余数
      algorithmExpression: ds_${user_id % 2}
      
  #默认的分表策略。共用部分
  defaultTableStrategy:
    none:

4. 配置读写分离 config-master_slave.yaml

config-master_slave.yaml

######################################################################################################
#
# If you want to connect to MySQL, you should manually copy MySQL driver to lib directory.
#
######################################################################################################

#这个名称在配置里面必须唯一，不能相同
schemaName: sharding_db_1
#配置数据源
dataSources:
  #第一个库的主从--连接demo_ds_0库
  #主节点数据源
  master_0_ds:
    url: jdbc:mysql://192.168.56.10:3307/demo_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  #从节点数据源
  slave_0_ds:
    url: jdbc:mysql://192.168.56.10:3317/demo_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
#--------------------------------- 
 
  #第2个库的主从--连接demo_ds_1库
  #主节点数据源
  master_1_ds:
    url: jdbc:mysql://192.168.56.10:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  #从节点数据源
  slave_1_ds:
    url: jdbc:mysql://192.168.56.10:3317/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

#配置数据库的主从规则  
shardingRule: 
  masterSlaveRules:
    ms_ds0:
      masterDataSourceName: master_0_ds
      slaveDataSourceNames:
        - slave_0_ds
      loadBalanceAlgorithmType: ROUND_ROBIN
    ms_ds1:
      masterDataSourceName: master_1_ds
      slaveDataSourceNames: 
        - slave_1_ds
      loadBalanceAlgorithmType: ROUND_ROBIN

5、mysql的主从同步加入demo_ds_0，demo_ds_1库

mysql主从同步看==> mysql集群主从复制1主多从 (一)

停止mysql容器

docker stop mysql-master01 mysql-slaver01

编辑主mysql文件

#切换到数据挂载目录
cd /mydata/mysql/master01/conf/

# 编辑
vi my.cnf

# 内容
#Sharding-proxy测试的库
binlog-do-db=demo_ds_0
binlog-do-db=demo_ds_1

编辑从mysql文件

#切换到数据挂载目录
cd /mydata/mysql/master01/conf/

# 编辑
vi my.cnf

# 内容
#Sharding-proxy测试的库
binlog-do-db=demo_ds_0
binlog-do-db=demo_ds_1

启动mysql容器

#启动
docker start mysql-master01  mysql-slaver01 

#查看
docker ps

如图：
在这里插入图片描述
在这里插入图片描述

6、主mysql创建出demo_ds_0，demo_ds_1库

如图：
在这里插入图片描述

7、启动Sharding-proxy

在这里插入图片描述
指定端口启动：
在这里插入图片描述

启动成功：
在这里插入图片描述

8、navicat连接Sharding-proxy操作数据库

  1. 端口上面指定的13777
  2. 账号的server.yaml里面配置的
  3. 账号root
  4. 密码root

这边不能使用navicat15来连接不然会报错

如图：
在这里插入图片描述

在这里插入图片描述

8.1、建表测试

运行sql-刷新

#订单
CREATE TABLE `t_order` (
`order_id` bigint(20) NOT NULL, `user_id` int(11) NOT NULL, `status` varchar(50) COLLATE utf8_bin DEFAULT NULL, PRIMARY KEY (`order_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

#订单项
CREATE TABLE `t_order_item` (
`order_item_id` bigint(20) NOT NULL, `order_id` bigint(20) NOT NULL, `user_id` int(11) NOT NULL, `content` varchar(255) COLLATE utf8_bin DEFAULT NULL, `status` varchar(50) COLLATE utf8_bin DEFAULT NULL, PRIMARY KEY (`order_item_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

连接Sharding-proxy后台会屏蔽0.1这些分成的库

如图：
在这里插入图片描述
在这里插入图片描述

8.2、插入数据测试

流程 根据user_id取余，选择库，在根据，生成的order_id取余选择表

在这里插入图片描述
效果：
在这里插入图片描述
会发现数据自动分到了2个库里面的不同表
这个是根据我们指定的规则，取余数计算出来的

如图：
在这里插入图片描述

在这里插入图片描述

四、mysql集群的高可用

  1. 不推荐使用多主模式选举，例如MHA 他是小日子开发的…
  2. 使用主从复制+分库分表（多分库就可以。数据源多配置几个）
  3. 高可用也可以配置上 1个keeplived+2个Sharding-proxy来保证高可用
  4. mysql本身就很稳定，除非你超负载了
  5. 多主模式带来的问题，个人感觉会更大，个人不推荐使用。
suqinyi
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
mysql 5.7 sharding_mysql分库分表方案之sharding-jdbc使用（非demo示例）
weixin_39675513的博客
01-27 340
选择开源核心组件的一个非常重要的考虑通常是社区活跃性，一旦项目团队无法进行自己后续维护和扩展的情况下更是如此。关于分库分表和读写分离、主从一般来说，需要分库分表的系统是流量比较大的，而且比较容易出现峰值的比如说打折/活动的时候；其次，当单机扛不住业务流量的时候，分库分表一定不是第一选择，在分库分表之前，应该先保证垂直拆分完成了，子系统内都是高内聚的，其次基于Master-Slave的读写分离或者模...
分库分表实战--- ShardingSphere实战 第三部分 SPI 加载剖析、编排治理剖析和Sharding-Proxy实战
Captain Leo的专栏
04-01 604
SPI加载剖析、编排治理剖析、Shading-Proxy实战
分库分表--shardingsphere整合nacos实现热更新数据源
StrongerB的博客
05-24 1568
shardingsphere集成nacos实现分库分表热更新
使用sharding-scaling和sharding-proxy做分库分表数据迁移
明之晓的博客
05-08 1339
将此处的 INSERT INTO 改成 REPLACE INTO,至于为啥执行有重复数据还以继续执行insert into 是因为前面catch住了这样的异常。2.对于同步中断，然后重启scaling间的不一致数据，scaling的全量插入时insert into，导致旧数据不能被更新。启动scaling时，首先是做全量的同步，并且会记录此时的数据库的binlog位置点，做完全量的同步会做增量的同步。scaling没有过多的配置，只需要启动bin目录下的start文件即可，默认使用。
Apache ShardingSphere Proxy5.5.0实现MySQL分库分表与读写分离
最新发布
liber.info
07-25 1417
感谢你的关注，欢迎你评论交流。
分库分表之Sharding-JDBC
长沙老码农
03-16 5262
目录 1、Sharding-JDBC概述 2、架构回顾 3、SpringBoot集成Sharding-JDBC 3.1 准备工作 3.2 配置MySQL主从复制 3.3 引入依赖坐标 3.4 application.properties配置 3.5 启动类，pojo service,dao,test 3.6 一些需要补充的概念 4、Sharding-JDBC原理 5、分库分表带来的问题 5.1 垂直分库带来的问题和解决思路 5.2 水平分库带来的问题和解决思路 5.3 我们.
sharding-proxy和sharding-ui 简介与v5.0.0-beat版本搭建配置
闫玉林的博客
08-12 1228
文章目录简介目标相关知识相关概念ShardingSphere-Proxy部署运行1. 安装zookeeper2. 下载解压SHARDINGSPHERE_PROXY3. 规则配置数据源配置权限配置4. 引入依赖5. 启动服务6. 使用ShardingSphere-ProxyShardingSphere-UI简介部署运行配置使用后续 简介 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，
Mysql+MGR+ShardingSphere-Proxy，实现Mysql高可用
weixin_39066895的博客
11-30 1220
Mysql数据库，通过搭建MGR组复制单主集群，实现Mysql的高可用；通过使用ShardingSphere-proxy作为代理，可以实现读写分离、高可用、分库分表等功能
MySQL 使用 Sharding-jdbc 分库分表
weixin_62812758的博客
03-06 866
Sharding-JDBC最早是当当网外部应用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的一直迭代下，性能也逐步欠缺，现已更名为 ShardingSphere，2020年4⽉16⽇正式成为 Apache 软件基⾦会的顶级项⽬。随着版本的一直更迭 ShardingSphere 的外围性能也变得多元化起来。
一文入门数据库中间件（ShardingSphere，Sharding-JDBC），从理论到实战，完成数据库主从复制，读写分离，分库分表！！！
weixin_45929082的博客
09-26 1130
注： 大家好我是妈妈的好大儿， 笔者联系方式 QQ：3302254385 微信：yxc3302254385 交个朋友！ 创作不易，三连十分感谢！！！ 文章篇幅过长，有很多理论如果没有耐心！！！可以直接通过目录找到需要的配置文件！！！ 1.基本介绍 详细内容见： https://shardingsphere.apache.org/document/current/cn/overview/ ShardingSphere是什么？ Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生
sharding-proxy实现分表
04-18
通过以上步骤，我们可以有效地利用 Sharding-Proxy 在 MySQL 5.7 上实现分表策略，提高系统的读写性能，同时保持较低的维护成本。不过，分库分表也会带来一些挑战，如跨表查询复杂度增加、分布式事务处理等，需要在...
apache-shardingsphere-sharding-proxy4.1.1修改后的zip包
08-09
apache-shardingsphere-sharding-proxy4.1.1修改后的zip包，对apache官网直接下载的包进行了优化，下载即可使用，不用修改其他东西。
MySQL分库分表演示-sharding-jdbc-demo.zip
11-07
在这个名为"MySQL分库分表演示-sharding-jdbc-demo"的项目中，我们将学习如何使用Sharding-JDBC来实现数据库的分库分表。首先，我们需要了解Sharding-JDBC的核心概念： 1. **分片规则**：定义了数据如何被分片到...
mysql分库分表sharding-jdbc-sharding-jdbc-demo.zip
11-07
这个"mysql分库分表sharding-jdbc-sharding-jdbc-demo.zip"压缩包提供的就是一个使用Sharding-JDBC进行数据库分库分表的示例项目。 Sharding-JDBC的工作原理是通过透明化的JDBC层，将数据路由、分片规则、读写分离...
apache-shardingsphere-4.1.1-sharding-proxy-bin-test.zip
04-25
apache-shardingsphere-4.1.1-sharding-proxy
mysql跨服务查询之FEDERATED存储引擎
suqinyi的博客
04-11 8003
文章目录一、FEDERATED存储引擎1.1、说明：1.2、局限性1.3、跨服务的方式二、开启FEDERATED存储引擎1.1、查看存储引擎1.1.1、不存在存储引擎-安装1.2、开启存储引擎1.3、拓展mysql存储引擎对比三、跨服务连接示例1.1、 目标：1.2、创建关系1.2.1、权限说明1.3、成功效果1.4、增删改查 一、FEDERATED存储引擎 01、从5.1.26开始，默认MySQL不启用federated存储引擎，所以需要在my.cnf中加入federated选项 02、或是在命令行用
oracle锁表查询及释放进程
suqinyi的博客
03-11 2870
oracle锁表： 在数据的操作过程可能会出现 表锁 行锁 间隙锁 … 假设是单线程出现数据库锁了的情况，那么会导致后面的任务都无法执行，所以出现数据锁要及时释放进程 oracle查看进程 select b.sid,b.serial# 　　from v$locked_object a,v$session b 　　where a.session_id = b.sid group by b.sid,b.serial#; oracle释放锁 declare cursor mycur is selec
本地安装mysql8教程
suqinyi的博客
05-07 449
安装MySQL8 一、下载： 官网下载地址入口 如图： 下载完成后将压缩包放在你想存放的位置 二、解压并创建my.ini文件： 01、解压：文件夹名称任意取 02、创建my.ini文件 和 存放数据库数据的文件夹（文件夹名称任意取） 03、配置my.ini [mysqld] # 设置3306端口 port=3306 # 设置mysql的安装目录 basedir=D://software//mysql//mysql-8.0.24 # 设置mysql数据库的数据的存放目录 datadir=D://s
利用sharding-proxy分库分表
07-28
Sharding-Proxy 是一个开源的分库分表中间件，它可以帮助应用程序实现无感知的分库分表操作。下面是一个简单的步骤来利用 Sharding-Proxy 进行分库分表： 1. 安装和配置 Sharding-Proxy：首先，你需要下载 Sharding-Proxy 的安装包，并解压到你的服务器上。然后，根据你的需求修改配置文件，配置数据源和分片规则等信息。 2. 创建数据库和表：在进行分库分表之前，你需要创建相应的数据库和表结构。你可以选择手动创建，或者使用 Sharding-Proxy 提供的自动建表功能。 3. 配置分片规则：在 Sharding-Proxy 的配置文件中，你需要定义分片规则，指定如何将数据分散到不同的数据库和表中。可以使用基于范围、哈希、精确等多种分片算法。 4. 连接到 Sharding-Proxy：在应用程序中，需要修改数据库连接信息，将原来连接数据库的地址改为连接 Sharding-Proxy 的地址。这样应用程序就可以通过 Sharding-Proxy 访问分片后的数据。 5. 进行分库分表操作：现在你可以在应用程序中执行正常的数据库操作，而无需关心具体的分库分表细节。Sharding-Proxy 会根据配置的规则自动将数据路由到正确的库和表中。 需要注意的是，使用 Sharding-Proxy 进行分库分表操作需要仔细考虑数据一致性、事务处理、跨库查询等问题。在配置和使用过程中，建议参考官方文档和示例来确保正确性和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

suqinyi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值