Sharding-Proxy实战(水平分表、水平分库、垂直分表、读写分离)

最新推荐文章于 2024-04-19 19:02:51 发布
最新推荐文章于 2024-04-19 19:02:51 发布
阅读量2.2k 收藏 3
点赞数
分类专栏： 分布式中间件 文章标签： 数据库 sharding 分库分表 mysql proxy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44642403/article/details/119988065
版权
本文介绍了Sharding-Proxy的实战应用，包括其作为数据库代理的透明化特性、分库分表配置、服务安装、启动与连接客户端的方法。通过示例详细展示了如何配置和操作Sharding-Proxy实现数据库的分库分表以及读写分离，从而提升数据库性能。
摘要由CSDN通过智能技术生成

Sharding-Proxy实战

基本概述

使用过Sharding-JDBC都知道需要为每一个运用到Sharding-JDBC的项目编写一大片配置文件，Sharding-Proxy就可以解决Sharding-JDBC上遇到问题，Sharding-Proxy定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持，简单来说分库分表的工作都由Sharding-Proxy服务端去完成，Sharding-Proxy是Webapp服务端，你只管发增删改查不有管你要操作什么库，Sharding-Proxy受到你的消息后会自己安排去操作那个数据库然后把结果给回你

Sharding-Proxy有以下几个特定

  1. Sharding-Proxy是一个独立的服务，需要安装安装，并且做好分库分表配置
  2. 目前只支持MySQL/PostgreSQL协议的的客户端

在这里插入图片描述

服务安装

安装包下载

这里我下载4.0.1的版本，Sharding-Proxy下载地址

在这里插入图片描述

在这里插入图片描述

解压安装包

使用命令解压压缩包，解压压缩包后进入到bin目录可以看到有几个启动脚本win下使用bat脚本，liunx使用sh脚本即可

# tar命令解压压缩包
tar -xvf apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.tar.gz

在这里插入图片描述

解压后的坑

注意这里有一个坑，解压压缩包后要检查一下lib下的文件是否完整，有时候解压完成后lib解压处理的文件会少了后缀名的，正常情况应该都是.jar后缀，如图这是异常情况，解决这个问题办法就是重新解压或者手动把那些文件名修改一下都不上.jar后缀，不让等一下启动服务时会提示找不到jar包

在这里插入图片描述

分表配置

修改server.yaml

进入到conf目录下，修改server.yaml文件

server.yaml修改很简单，只需要将这部分内容的注释去掉即可

在这里插入图片描述

修改config-sharding.yaml

进入到conf目录下，修改config-sharding.yaml文件，里面有一些模板，配置其实和JDBC是一模一样的，在本地数据库中创建一个demo_ds_0，当然也可以使用已有的数据库

在这里插入图片描述

使用注意

在配置文件中，可以那么一句话如果你要连接msyql那么需要手动的把mysql驱动的jar包放到lib目录下否则程序无法运行

在这里插入图片描述

在这里插入图片描述

服务启动

执行start.bat服务启动(liunx下执行sh文件)有2种方式带端口和不带端口

  1. 不带端口：默认使用3307端口
  2. 带端口：使用你指定的端口 start.bat 8888

看到如下内容表示启动成功

在这里插入图片描述

连接客户端

最好使用cmd命令行去连接，虽然如Navicat、DataGrip等这些客户端也是可以的，当时有时又不可以好奇怪的，所以这里使用cmd的mysql命令去连接Sharding-Proxy，就和连接数据库一样使用mysql -P3307 -uroot -p即可连接

注意不要搞混了哦这里连接的是Sharding-Proxy不是Mysql数据库，只是连接Sharding-Proxy方式和数据库一样

在这里插入图片描述

使用sql命令操作

在这里插入图片描述

在这里插入图片描述

查看本地数据库

查看我们本机的实际数据库中发生的变化，可以发现我们只执行了一条建表语句，Sharding-Proxy根据配置文件配置的规则给我们创建了t_order_0和t_order_1，并且我执行插入order_id是奇数所以数据被插入在t_order_1表中

在这里插入图片描述

分库配置

修改config-sharding.yaml

在这里插入图片描述

服务启动

执行start.bat服务启动(liunx下执行sh文件)有2种方式带端口和不带端口

  1. 不带端口：默认使用3307端口
  2. 带端口：使用你指定的端口 start.bat 8888

看到如下内容表示启动成功

在这里插入图片描述

连接客户端

最好使用cmd命令行去连接，虽然如Navicat、DataGrip等这些客户端也是可以的，当时有时又不可以好奇怪的，所以这里使用cmd的mysql命令去连接Sharding-Proxy，就和连接数据库一样使用mysql -P3307 -uroot -p即可连接

注意不要搞混了哦这里连接的是Sharding-Proxy不是Mysql数据库，只是连接Sharding-Proxy方式和数据库一样

在这里插入图片描述

使用sql命令操作

在这里插入图片描述

查看本地数据库

查看我们本机的实际数据库中发生的变化，可以发现我们只执行了一条建表语句，Sharding-Proxy根据配置文件配置的规则给我们创建了t_order_0和t_order_1，并且也根据相应的规则插入了数据

在这里插入图片描述

读写分离

读写分离也是一种很好的提升数据库性能的解决方案，在了解如何使用Sharding-Proxy之前首先需学会如何部署Mysql主从配置，如果还没部署过的前阅读以下文章

Sharding-Proxy是不做主从复制数据同步的，主从复制需要通过配置Mysql实现，而Sharding-Proxy只是根据语义(CRUD)判断你是做增删改查的那种操作，并且给你路由到主库/从库

Mysql-主从配置与读写分离

修改config-master_slave.yaml

进入到conf目录下，修改config-master_slave.yaml文件

在这里插入图片描述

服务启动

执行start.bat服务启动(liunx下执行sh文件)有2种方式带端口和不带端口

  1. 不带端口：默认使用3307端口
  2. 带端口：使用你指定的端口 start.bat 8888

看到如下内容表示启动成功

在这里插入图片描述

连接客户端

最好使用cmd命令行去连接，虽然如Navicat、DataGrip等这些客户端也是可以的，当时有时又不可以好奇怪的，所以这里使用cmd的mysql命令去连接Sharding-Proxy，就和连接数据库一样使用mysql -P3307 -uroot -p即可连接

注意不要搞混了哦这里连接的是Sharding-Proxy不是Mysql数据库，只是连接Sharding-Proxy方式和数据库一样

在这里插入图片描述

使用sql命令操作

在这里插入图片描述

查看本地数据库

查看我们本机的实际数据库中发生的变化，可以发现主从库同时都有刚刚插入的数据

在这里插入图片描述

JolyouLu
关注
专栏目录
Sharding-Proxy读写分离_Sharding-Sphere_分库分表_读写分离_工作笔记021
添柴程序猿的专栏
03-15 484
然后我们再去看,我们用sharding-proxy,实现读写分离. 我们可以参考sharding-shpere的官网去查看,可以参考对应的配置,来配置主从数据库,配置读写分离 首先我们要去配置读写分离,要配置 sharding-proxy的conf目录的 config-master-slave.yaml文件. 我们打开看看这个配置文件,可以看到,里面都是被注释的 我们copy出来,到idea里面,然后用快捷键,解除注释,然后copy回到配置文件中去 然后我们看他的内容...
springboot整合sharding-jdbc实现分库分表详解
congge
05-21 6938
springboot整合sharding-jdbc实现分库分表详解
ShardingSphere-Proxy 分库分表、读写分离
yutanbo123的博客
08-24 986
ShardingSphere-Proxy 分库分表、读写分离前言一、运行官方示例二、启动 ShardingSphere-Proxy1.下载2.解压3.修改配置文件4.添加 mysql jdbc 驱动5.启动 ss-proxy6.启动验证7.访问 ss-proxy三、分库分表1.运行示例2.运行结果四、读写分离1. 运行示例2.运行结果总结 前言 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。现支持的数据库有MySQL
Sharding-Proxy——分库分表+读写分离
tingxuejianghu的博客
04-26 1216
一、简介 sharding-proxy定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前先提供MySQL/PostgreSQL版本，它可以使用任何兼容MySQL/PostgreSQL协议的访问客户端(如：MySQL Command Client, MySQL Workbench, Navicat等)操作数据，对DBA更加友好。 向应用程序完全透明，可直接当做MySQL/PostgreSQL使用。 适用于任何兼容MySQL/PostgreSQL协议的的客户端
Sharding Proxy 实战
杜莱的博客
07-27 1007
理论参考：MySQL 高级框架实战理论笔记 GitHub 代码：lane-mysql-42 文章目录单纯的 MySQL 实现建表 SQL下载并配置 sharding porxy添加 mysql 驱动修改 conf 下 server.yaml 如下修改 conf 下 sharding.yaml 如下启动 bin 下的 start.sh访问测试代理数据库附加Sharding Proxy + Spring Boot 实现创建父项目作为依赖管理创建模块项目Java 基本代码启动类配置信息测试结果 单纯的 MyS.
ShardingSphere-Proxy分表分库、读写分离基本使用（v5.4.1版本）
04-11 2655
基于目前最新版的ShardingSphere-Proxy（v5.4.1），网上找到文章大多基于老版本的，最近自己研究了下新版本，把最常用的读写分离、分库分表功能整理了下，分享给大家。
使用Sharding-JDBC实现分库分表
最新发布
2401_84048179的博客
04-19 1030
Sharding-JDBC是当当网研发的开源分布式数据库中间件，从 3.0 开始Sharding-JDBC被包含在 Sharding-Sphere中，之后该项目进入进入Apache孵化器，4.0版本之后的版本为Apache版本。ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding- Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。
关于Sharding-Sphere分库分表框架的保姆级教学！
Java技术攻略的博客
03-16 964
的定位是一款轻量级Java框架，它会以POM依赖的形式嵌入程序，运行期间会和Java应用共享资源，这款框架的本质可以理解成是JDBC的增强版，只不过Java原生的JDBC仅支持单数据源的连接，而Java-ORM框架在执行SQL语句时，会以切面的形式拦截发往数据库的语句，接着根据配置好的数据源、分片规则和路由键，为SQL选择一个目标数据源，然后再发往对应的数据库节点处理。在整个业务系统中对性能损耗极低，但为何后面又会推出呢？因为。
一文入门数据库中间件（ShardingSphere，Sharding-JDBC），从理论到实战，完成数据库主从复制，读写分离，分库分表！！！
weixin_45929082的博客
09-26 1249
注： 大家好我是妈妈的好大儿， 笔者联系方式 QQ：3302254385 微信：yxc3302254385 交个朋友！ 创作不易，三连十分感谢！！！ 文章篇幅过长，有很多理论如果没有耐心！！！可以直接通过目录找到需要的配置文件！！！ 1.基本介绍 详细内容见： https://shardingsphere.apache.org/document/current/cn/overview/ ShardingSphere是什么？ Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生
MySQL思考-分库分表(Sharding-JDBC)
flowerAndJava的博客
03-18 598
一 分库分表基本概念 1.1 分库 将一个数据库，在节点上部署多台。因为当很多客户端连接客户端，并发量高，需要进行分库。 1.2 分表 将一个表，分成多个表。因为在MySQL中一个表数据达到5千万条，数据库性能严重下降。 1.3 分区 概述 分区技术是数据库内部技术，对于我们开发者来说，一张表分区后仍然是一张表，我们开发操作表名没有变化。仅仅是将表分成若干物理区。 为什么不使用分区 受单机因素限制(大量连接、高吞吐)，虽然每个区是独立的，但是分区表的总入口就一个。 二 分库分表的中间件 我们
Sharding-Proxy 实现分库分表
Jak的博客
08-23 1019
一、简介 Sharding-Proxy是ShardingSphere的第二个产品。 它定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前先提供MySQL/PostgreSQL版本，它可以使用任何兼容MySQL/PostgreSQL协议的访问客户端(如：MySQL Command Client, MySQL Workbench, Navicat等)操作数据， 对DBA更加友好。 向应用程序完全透明，可直接当做MySQL/PostgreSQL使用。
利用sharding-proxy实现分库分表
hefrankeleyn的博客
01-23 1651
利用sharding-proxy实现分库分表 文章目录利用sharding-proxy实现分库分表一、启动一个mysql二、在sharding-proxy上面配置分库、分表的规则三、启动sharding-proxy，并测试四、将用户表拆成2个库，每个库16张表4.1 表结构4.2 sharding-sphere-prox的配置：五、利用sharding-sphere-ui 可以动态的修改配置 一、启动一个mysql 在上面创建两个库：ds_shop_1和 ds_shop_2，真实的环境中，应当使用两个my
Sharding-Proxy分库分表、读写分离配置
river106的博客
04-30 1882
1、简介 Apache ShardingSphere 是一套开源的分布式数据库增强计算引擎，由 JDBC、Proxy 和 Sidecar（规划中） 3 款产品组成。其通过可插拔架构构建基于数据库之上的生态系统，实现包括数据分片、弹性伸缩、加密脱敏等功能为代表的增强能力。 ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目。 Sharding-Proxy定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。
Sharding-JDBC、Sharding-Proxy实现水平分库分表垂直分库分表读写分离
qq_44300280的博客
08-08 1382
1、分库分表 2. Sharding-JDBC 2.1 Sharding-JDBC简介 2.2 Sharding-JDBC 实现水平分表 2.3 Sharding-JDBC 实现水平分库 2.4 Sharding-JDBC 实现垂直分库 2.5 Sharding-JDBC 操作公共表 2.6 Sharding-JDBC 实现读写分离 3.Sharding-Proxy 4. Springboot集成sharding-proxy
sharding-proxy读写分离实战
u012222011的博客
02-23 696
根据上一节的而配置，我们在sharding-proxy代理数据库中新建一张表 CREATETABLE`t_order_0`( `order_id`bigint(11)NOTNULL, `user_id`int(11)DEFAULTNULL, `status`varchar(255)DEFAULTNULL, PRIMARYKEY(`order_id`) )ENGINE=InnoDBDEFAULTCHARSET=utf8; 新建好，我们...
分库分表利器sharding-proxy
qq_44306975的博客
12-14 4876
sharding-proxy的使用
shardingsphere-proxy实现水平分库分表
weixin_42194515的博客
08-15 338
使用shardingsphere-proxy实现水平分库分表 1.下载官方软件 shardingsphere-proxy下载: 下载链接. mysql驱动安装 mysql-connector-java-8.0.19.jar 将下载好的jar包放入lib文件夹中 2.修改配置文件 config-sharding schemaName: sharding_db dataSourceCommon: username: root password: 123456 # 连接数据库用的用户名和密码 conne
sharding-proxy分库分表的操作
weixin_45580575的博客
08-25 1240
一、分库分表概念 1.分表 （1）垂直分表 表中的字段较多，一般将不常用的、 数据较大、长度较长的拆分到“扩展表“。一般情况加表的字段可能有几百列，此时是按照字段进行数竖直切。注意垂直分是列多的情况。 （2）水平分表 单表的数据量太大。按照某种规则（RANGE,HASH取模等），切分到多张表里面去。 但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈。这种情况是不建议使用的，因为数据量是逐渐增加的，当数据量增加到一定的程度还需要再进行切分。比较麻烦 2.分库 （1）垂直分库 一个数据库的表太多
ShardingProxy分库分表实战及同类产品选型对比
沮丧的南瓜
09-23 1119
文章目录一、ShardingProxy快速使用1、ShardingProxy部署2、ShardingProxy使用3、ShardingProxy的服务治理3.1 配置发布到zookeeper4、Shardingproxy的其他功能4.1 影子库4.2 数据加密4.3 主从配置5、ShardingProxy的SPI扩展-主键生成6、ShardingProxy-UI界面使用二、ShardingSphere总结三、与其他相关产品的对比 一、ShardingProxy快速使用 ShardingProxy的功能同样是
MySQL5.7结合Sharding-Proxy实现分表策略
本资源主要介绍了如何利用MySQL 5.7与Sharding-Proxy实现基于时间的分表策略，每半年分一次表，以提高系统性能。 Sharding-Proxy是Apache ShardingSphere项目的一部分，它是一个透明化的数据库代理层，提供SQL路由...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JolyouLu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值