MySql整合Shardingsphere分库分表

最新推荐文章于 2024-03-31 22:39:16 发布
置顶 最新推荐文章于 2024-03-31 22:39:16 发布
阅读量812 收藏 2
点赞数
分类专栏： # MySQL专题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN877425287/article/details/108392544
版权

前言

前面一篇文章将MySql主从复制模式就搭建完毕了，但是在主从复制模式情况下不能解决单表数据量大了的性能问题，如一张表书记量太大了，查询效率会比较低，那么此时就需要对数据进行分片处理，每个MySql就只存储部分数据，接下来就是MySql分库分表！MySql分库分表会采用MyCat或者ShardingSphere!在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
以上内容均来自shardingsphere官方文档

Sharding-Proxy分库分表，读写分离

在这里插入图片描述
下面根据上面这张架构图使用Sharding-Proxy实现分库分表，读写分离

1.下载Sharding-Proxy中间件
下载地址
在这里插入图片描述
在这里插入图片描述
下载后的文件解压
在这里插入图片描述
2.修改配置
在这里插入图片描述
这里简单介绍一下配置
server.yaml

#权限验证
#用于执行登录Sharding Proxy的权限验证。配置用户名、密码、可访问的数据库后，必须使用正确的用户名、密码才可登录Proxy。
authentication:
  users:
    root: # 自定义用户名
      password: root  # 自定义用户名
    sharding: # 自定义用户名
      password: sharding #自定义用户名
      authorizedSchemas: sharding_db  该用户授权可访问的数据库，多个用逗号分隔。缺省将拥有root权限，可访问全部数据库。

props:
#  max.connections.size.per.query: 1
#  acceptor.size: 16  #用于设置接收客户端请求的工作线程个数，默认为CPU核数*2
  executor.size: 16  # Infinite by default.
#  proxy.frontend.flush.threshold: 128  # 对于单个大查询,每多少个网络包返回一次
#    # LOCAL: Proxy will run with LOCAL transaction.
#    # XA: Proxy will run with XA transaction.
#    # BASE: Proxy will run with B.A.S.E transaction.
#  proxy.transaction.type: LOCAL #默认为LOCAL事务，允许LOCAL，XA，BASE三个值，XA采用Atomikos作为事务管理器，BASE类型需要拷贝实现ShardingTransactionManager的接口的jar包至lib目录中
#  proxy.opentracing.enabled: false #是否开启链路追踪功能，默认为不开启。详情请参见[链路追踪](/cn/features/orchestration/apm/)
#  query.with.cipher.column: true
  sql.show: false #控制台打印SQL

config-sharding.yaml


schemaName: sharding_db  #逻辑数据源名称
#
dataSources: #数据源配置，可配置多个data_source_name
  ds_0: #与Sharding-JDBC配置不同，无需配置数据库连接池
    url: jdbc:mysql://192.168.0.177:3307/demo_ds_0?serverTimezone=UTC&useSSL=false #数据库url连接
    username: root #数据库用户名
    password: root #数据库密码
    connectionTimeoutMilliseconds: 30000 #连接超时毫秒数
    idleTimeoutMilliseconds: 60000 #空闲连接回收超时毫秒数
    maxLifetimeMilliseconds: 1800000 #连接最大存活时间毫秒数
    maxPoolSize: 50 #最大连接数
  ds_1:
    url: jdbc:mysql://192.168.0.177:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
#
shardingRule:
  tables:
    t_order:
      actualDataNodes: ds_${0..1}.t_order_${0..1}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_${order_id % 2}
      keyGenerator:
        type: SNOWFLAKE
        column: order_id
    t_order_item:
      actualDataNodes: ds_${0..1}.t_order_item_${0..1}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_item_${order_id % 2}
      keyGenerator:
        type: SNOWFLAKE
        column: order_item_id
  bindingTables:
    - t_order,t_order_item
  defaultDatabaseStrategy:
    inline:
      shardingColumn: user_id
      algorithmExpression: ds_${user_id % 2}
  defaultTableStrategy:
    none:

config-sharding.yaml-配置介绍

dataSources: #数据源配置，可配置多个data_source_name
  <data_source_name>: #<!!数据库连接池实现类> `!!`表示实例化该类
    driverClassName: #数据库驱动类名
    url: #数据库url连接
    username: #数据库用户名
    password: #数据库密码
    # ... 数据库连接池的其它属性

shardingRule:
  tables: #数据分片规则配置，可配置多个logic_table_name
    <logic_table_name>: #逻辑表名称
      actualDataNodes: #由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点，用于广播表（即每个库中都需要一个同样的表用于关联查询，多为字典表）或只分库不分表且所有库的表结构完全一致的情况
        
      databaseStrategy: #分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
        standard: #用于单分片键的标准分片场景
          shardingColumn: #分片列名称
          preciseAlgorithmClassName: #精确分片算法类名称，用于=和IN。。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
          rangeAlgorithmClassName: #范围分片算法类名称，用于BETWEEN，可选。。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
        complex: #用于多分片键的复合分片场景
          shardingColumns: #分片列名称，多个列以逗号分隔
          algorithmClassName: #复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
        inline: #行表达式分片策略
          shardingColumn: #分片列名称
          algorithmInlineExpression: #分片算法行表达式，需符合groovy语法
        hint: #Hint分片策略
          algorithmClassName: #Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
        none: #不分片
      tableStrategy: #分表策略，同分库策略
      keyGenerator: 
        column: #自增列名称，缺省表示不使用自增主键生成器
        type: #自增列值生成器类型，缺省表示使用默认自增列值生成器。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
        props: #属性配置, 注意：使用SNOWFLAKE算法，需要配置worker.id与max.tolerate.time.difference.milliseconds属性。若使用此算法生成值作分片值，建议配置max.vibration.offset属性
          <property-name>: 属性名称
      
  bindingTables: #绑定表规则列表
  - <logic_table_name1, logic_table_name2, ...> 
  - <logic_table_name3, logic_table_name4, ...>
  - <logic_table_name_x, logic_table_name_y, ...>
  broadcastTables: #广播表规则列表
  - table_name1
  - table_name2
  - table_name_x
  
  defaultDataSourceName: #未配置分片规则的表将通过默认数据源定位  
  defaultDatabaseStrategy: #默认数据库分片策略，同分库策略
  defaultTableStrategy: #默认表分片策略，同分库策略
  defaultKeyGenerator: #默认的主键生成算法 如果没有设置,默认为SNOWFLAKE算法
    type: #默认自增列值生成器类型，缺省将使用org.apache.shardingsphere.core.keygen.generator.impl.SnowflakeKeyGenerator。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
    props:
      <property-name>: #自增列值生成器属性配置, 比如SNOWFLAKE算法的worker.id与max.tolerate.time.difference.milliseconds

  masterSlaveRules: #读写分离规则，详见读写分离部分
    <data_source_name>: #数据源名称，需要与真实数据源匹配，可配置多个data_source_name
      masterDataSourceName: #详见读写分离部分
      slaveDataSourceNames: #详见读写分离部分
      loadBalanceAlgorithmType: #详见读写分离部分
      props: #读写分离负载算法的属性配置
        <property-name>: #属性值
      
props: #属性配置
  sql.show: #是否开启SQL显示，默认值: false
  executor.size: #工作线程数量，默认值: CPU核数
  max.connections.size.per.query: # 每个查询可以打开的最大连接数量,默认为1
  check.table.metadata.enabled: #是否在启动时检查分表元数据一致性，默认值: false

config-master_slave.yaml

schemaName: sharding_db_1

dataSources:
  master_ds_1:
    url: jdbc:mysql://192.168.0.177:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds_1:
    url: jdbc:mysql://192.168.0.177:3317/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    
    
masterSlaveRule:
  name: ms_ds_1
  masterDataSourceName: master_ds_1
  slaveDataSourceNames:
    - slave_ds_1

config-master_slave.yaml-配置介绍

ataSources: #省略数据源配置，与数据分片一致

masterSlaveRule:
  name: #读写分离数据源名称
  masterDataSourceName: #主库数据源名称
  slaveDataSourceNames: #从库数据源名称列表
    - <data_source_name1>
    - <data_source_name2>
    - <data_source_name_x>
  loadBalanceAlgorithmType: #从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若`loadBalanceAlgorithmClassName`存在则忽略该配置
  props: #读写分离负载算法的属性配置
    <property-name>: #属性值

注意：config-master_slave.yaml配置时需要注意，主从数据源不要写在同一个配置文件中，如果异常情况下
在这里插入图片描述
创建两个config-master_slave-0.yaml、config-master_slave-1.yaml配置文件
config-master_slave-0.yaml
在这里插入图片描述
config-master_slave-1.yaml
在这里插入图片描述
shardingsphere官方配置模板

3.导入mysql驱动
在这里插入图片描述
连接地址
在这里插入图片描述

解压将圈起来的mysql-connector-java-5.1.47.jar文件复制到Shardingsphere目录的lib目录
在这里插入图片描述

注意：如果启动报什么类什么类找不到的话，请检查lib目录的jar包是否是jar结尾，如果不是将结尾改为jar即可

4.启动
启动之前需要先确保MySql数据库中存在需要分库分表的实际数据库，而且主从节点同步监听的库需要加上
1.点击start.bat启动
2.CMD启动

指定端口启动
start.bat 3388

5.连接测试
这里SQLyog是无法连接上Shardingsphere，需要使用其他连接工具！
在这里插入图片描述

6.创建任意表测试
在navicat客户端中创建任意数据表测试
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里在sharding_db.sql在创建的表都会主从复制，同时也会分库分表！

程序员劝退师-TAO
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
php mysql分库分表实例
08-28
php分库分表
数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示
tempsitegoogle
06-27 682
本文原文连接: http://blog.csdn.net/bluishglc/article/details/7696085 ,转载请注明出处！本文着重介绍sharding切分策略，如果你对数据库sharding缺少基本的了解，请参考我另一篇从基础理论全面介绍sharding的文章：数据库Sharding的基本思想和切分策略 第一部分：实施策略 图1.数据库分库分表(sharding)实...
mysql 分库分表 ~ ShardingSphere生态圈
weixin_34001430的博客
04-06 122
一 简介 Apache ShardingSphere是一款开源的分布式数据库中间件组成的生态圈二 成员包含 Sharding-JDBC是一款轻量级的Java框架，在JDBC层提供上述核心功能，使用方式与正常的JDBC方式如出一辙，面向Java开发的用户。 Sharding-Proxy是一款实现了MySQL二进制协议的服务器端版本，类似于网易的cetus,爱可生的dble等 Sha...
ShardingSphere-ShardingSphere基本介绍及核心概念
qq_39093474的博客
03-31 510
分布式数据库中间件（Distributed Database Middleware，检测DDM），是一款分布式关系型数据库，采用先进的存储计算分离架构，实现并发，计算，数据存储三个方面均可线性扩展，专注于解决数据库分布式扩展问题，突破了传统数据库的容量和性能瓶颈，实现海量数据高并发访问，其核心的优势是提供数据库水平扩展能力。
shardingsphere-proxy 搭建mysql的分库分表
keyboard专栏
06-28 391
1、如果出现zookeeper 2181端口链接不上，是因为docker容器之间的网络通信问题。需要修改server.xml 中 zookeeper的链接地址。
clickhouse表的基本操作
兰若惜的博客
11-30 1596
1.创建表 2.复制表 3.创建临时表 加关键字TEMPORARY ；不需要指定表引擎；当两张表名称相同时，优先读取临时表的数据；会话结束后，临时表数据销毁 4.创建分区表 只有合并树（MergeTree）系列的表引擎才支持数据分区 PARTITION BY 指定分区键 数据按年月分区后，每个分区有对应独立的数据文件 ...
《童虎学习笔记》16分钟ShardingSphere搭建MySQL分库分表
tonghu_note的博客
05-04 1986
1
mysql高可用分库分表.pdf
02-24
mysql分库分表，详细介绍了垂直分表、水平分表、垂直分库、水平分库，包括它们的优缺点，解决的问题，有具体案例
使用 ShardingSphere 实操MySQL分库分表实战.docx
01-13
shardingsphere 分库分表连表
java mysql 分库分表详解
01-30
java mysql 分库分表详解
基于Mycat实现Mysql读写分离以及分库分表.doc
09-22
内容详细，亲测可用，包含图文介绍
ShardingSphere分库分表方案
wangzhezhilu001的专栏
03-23 1258
最近，在研究后台数据库过大的时候，相关的分库分表解决方案。 1.分库分表 当一个数据库里的数据库和数据表足够大的时候，就面临很多问题。由于数据库大多采用B树存储，当数据量太大的时候，会发生资源访问过大，数据迟缓问题。面对这类问题，比较好的方案是分库分表。 分库分表的方案有两种：垂直切分和水平切分。 垂直切分一般为不同业务和不同字段分割到不同部分，水平切分一般为同一数据库或数据表根据一定规则分到不同的数据库和表里。 一般来说，库一般采用垂直切分，优点是专库专用；表采用水平切分，避免数量过大。 2.
mysql sharding 官方_ShardingSphere
weixin_35876299的博客
02-26 122
Apache ShardingSphere高灵活度 & 可插拔 & 可扩展Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原...
基于springboot的ShardingSphere5.X的分库分表的解决方案之分库分表与不分库分表结合解决方案(二十六)
笨鸟不会飞
02-23 2731
最近有小伙伴问到了这么一个场景，我在一个应用程序中，既有分库分表的需求，又有正常的不分库分表的需求，那这时候我们该如何去处理呢，针对这个场景，我这边专门给大家来写一个实现的例子。 1、不分库分表的解决方案 此方案需要如下的前置条件： 当前表不分库也不分表【在db0.t_user】 其他库不存在和这张表名称一样的表的若你 若你的需求满足以上的场景则直接使用以下的方案，首先我们的代码都是基于第三章的源代码来进行实现的。 2、模拟场景 首先我们默认我们的不分库分表的这些表都是放在db0数据库底下，然后我们.
分库分表利器——sharding-sphere
qq_34412985的博客
04-13 473
简介 Sharding-Sphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。 官网 http://shardingjdbc.io/...
mysql主从&shardingsphere分库分表
m0_46598535的博客
11-09 818
mysql
ShardingSphere分库分表实战之MySQL主从集群搭建
Coder_ljw的博客
07-23 450
本篇文章主要讲解了ShardingSphere分库分表实战之MySQL主从集群搭建，实操过程非常重要，大家一定要动手亲自实践一下，必须掌握。下节预告，ShardingSphere分库分表实战之Sharding-JDBC实现读写分离，敬请期待。
infrared-remote-candroid studiodemo
最新发布
05-05
android studio下载
shardingsphere 分库分表 demo 配置
04-02
以下是一个基本的 Shardingsphere 分库分表 demo 配置： 1. 引入依赖 首先需要在项目中引入 Shardingsphere 的相关依赖，具体版本号可根据需求自行选择。 ```xml <!-- ShardingSphere JDBC Core APIs --> ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员劝退师-TAO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值