sharding-poxy分库分表(一)基础环境搭建

最新推荐文章于 2023-06-15 16:17:18 发布
最新推荐文章于 2023-06-15 16:17:18 发布
阅读量323 收藏
点赞数
分类专栏： 数据库 文章标签： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29653373/article/details/118911055
版权

一、业务场景介绍：把全国27个大的省市的销售中心按行政区划码分成27个库，每个库的订单和订单item再按年分表，最后我们通过sharding-poxy来实现uat、sit等环境的配置；我们把sharding-poxy的注册和配置信息注册到zookeeper上，最后通过sharding-ui提供的可视化界面来对sharding-poxy多套配置文件来进行实时管理。

二、基本环境搭建(docker compose、Zookeeper、Mysql、sharding-poxy、sharding-ui)

 1.docker compose安装：首先docker compose依赖于docker(可以参考前面的文章前8小步进行安装：docker快速搭建测试数据库(Mysql、Oracle、SqlServer)及ftp文件服务器_Morik的博客-CSDN博客)，以下是安装docker compose的命令

#安装 下载失败就多下两次试试
[root@localhost ~]# curl -L https://github.com/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
#给执行权限
[root@localhost ~]# sudo chmod +x /usr/local/bin/docker-compose
#查看版本
[root@localhost ~]# docker-compose --version
#打开数据库端口
[root@localhost ~]# firewall-cmd --zone=public --add-port=3306/tcp --permanent
#打开zookeeper端口
[root@localhost ~]# firewall-cmd --zone=public --add-port=2181/tcp --permanent
#刷新防火墙
[root@localhost ~]# firewall-cmd --reload
#查看防火墙打开的端口列表
[root@localhost ~]# firewall-cmd --list-ports

 2.通过docker compose快速搭建zookeeper和mysql

1）、新建sharding-poxy-env.yml文件并将以下配置拷贝到yml文件中(根据实际情况可以只要mysql和zookeeper的配置，nacos、seata、redis可以选择性的删除)

version: '3'
services:
  mysql:
    image: mysql:5.7
    container_name: mysql
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci 
    restart: always  
    environment:
      MYSQL_ROOT_PASSWORD: root
    ports:
      - 3306:3306
    volumes:
      - /mydata/mysql/data/db:/var/lib/mysql 
      - /mydata/mysql/data/conf:/etc/mysql/conf.d 
      - /mydata/mysql/log:/var/log/mysql 
  redis:   
    image: redis:5.0
    container_name: redis
    command: redis-server --appendonly yes  
    volumes:
      - /mydata/redis/data:/data 
    ports:
      - 6379:6379
  nacos:
    image: nacos/nacos-server:1.4.2
    container_name: nacos
    environment:
      - MODE=standalone
    volumes:
      - /mydata/nacos/logs/:/home/nacos/logs
    ports:
      - "8848:8848"
  zookeeper:
    image: zookeeper:3.5
    ports:
      - 2181:2181 
    volumes:
      - /mydata/zookeeper/data:/zk/data
      - /mydata/zookeeper/conf:/zk/conf
      
  seata-server:
    image: seataio/seata-server:1.2.0
    ports:
      - "8091:8091"

2）、进入yml目录运行(docker-compose -f sharding-poxy-env.yml up -d)

 3）、连接mysql并新建两个库再导入sql测试数据脚本(如果连接不上前几章有具体的安装配置mysql详情)

/*
 Navicat Premium Data Transfer

 Source Server         : sd
 Source Server Type    : MySQL
 Source Server Version : 50734
 Source Host           : 192.168.0.4:3306
 Source Schema         : a11000000

 Target Server Type    : MySQL
 Target Server Version : 50734
 File Encoding         : 65001

 Date: 19/07/2021 20:08:27
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for t_order_2019
-- ----------------------------
DROP TABLE IF EXISTS `t_order_2019`;
CREATE TABLE `t_order_2019`  (
  `order_id` int(11) NOT NULL,
  `order_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `creat_time` datetime(0) NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of t_order_2019
-- ----------------------------
INSERT INTO `t_order_2019` VALUES (2, '8', '2021-07-07 22:08:47', 201902, 11000000);

-- ----------------------------
-- Table structure for t_order_2020
-- ----------------------------
DROP TABLE IF EXISTS `t_order_2020`;
CREATE TABLE `t_order_2020`  (
  `order_id` int(11) NOT NULL,
  `order_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `creat_time` datetime(0) NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of t_order_2020
-- ----------------------------
INSERT INTO `t_order_2020` VALUES (2, '8', '2021-07-07 22:08:47', 202003, 11000000);

-- ----------------------------
-- Table structure for t_order_2021
-- ----------------------------
DROP TABLE IF EXISTS `t_order_2021`;
CREATE TABLE `t_order_2021`  (
  `order_id` int(11) NOT NULL,
  `order_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `creat_time` datetime(0) NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of t_order_2021
-- ----------------------------
INSERT INTO `t_order_2021` VALUES (2, '8', '2021-07-07 22:08:47', 202101, 11000000);

-- ----------------------------
-- Table structure for t_order_item_202001
-- ----------------------------
DROP TABLE IF EXISTS `t_order_item_202001`;
CREATE TABLE `t_order_item_202001`  (
  `order_id` int(11) NOT NULL,
  `order_item_id` int(11) NULL DEFAULT NULL,
  `order_item_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Table structure for test1
-- ----------------------------
DROP TABLE IF EXISTS `test1`;
CREATE TABLE `test1`  (
  `id` int(11) NOT NULL,
  `sex123` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `username` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;


/*
 Navicat Premium Data Transfer

 Source Server         : sd
 Source Server Type    : MySQL
 Source Server Version : 50734
 Source Host           : 192.168.0.4:3306
 Source Schema         : a50000000

 Target Server Type    : MySQL
 Target Server Version : 50734
 File Encoding         : 65001

 Date: 19/07/2021 20:08:39
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for t_order_2019
-- ----------------------------
DROP TABLE IF EXISTS `t_order_2019`;
CREATE TABLE `t_order_2019`  (
  `order_id` int(11) NOT NULL,
  `order_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `creat_time` datetime(0) NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of t_order_2019
-- ----------------------------
INSERT INTO `t_order_2019` VALUES (4, '10', '2021-07-08 08:52:15', 201902, 50000000);

-- ----------------------------
-- Table structure for t_order_2020
-- ----------------------------
DROP TABLE IF EXISTS `t_order_2020`;
CREATE TABLE `t_order_2020`  (
  `order_id` int(11) NOT NULL,
  `order_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `creat_time` datetime(0) NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of t_order_2020
-- ----------------------------
INSERT INTO `t_order_2020` VALUES (4, '10', '2021-07-08 08:52:15', 202002, 50000000);

-- ----------------------------
-- Table structure for t_order_2021
-- ----------------------------
DROP TABLE IF EXISTS `t_order_2021`;
CREATE TABLE `t_order_2021`  (
  `order_id` int(11) NOT NULL,
  `order_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `creat_time` datetime(0) NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of t_order_2021
-- ----------------------------
INSERT INTO `t_order_2021` VALUES (4, '10', '2021-07-08 08:52:15', 202102, 50000000);

-- ----------------------------
-- Table structure for t_order_item_202102
-- ----------------------------
DROP TABLE IF EXISTS `t_order_item_202102`;
CREATE TABLE `t_order_item_202102`  (
  `order_id` int(11) NOT NULL,
  `order_item_id` int(11) NULL DEFAULT NULL,
  `order_item_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,
  `yearmonth` int(255) NULL DEFAULT NULL,
  `dealerid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

三、源码、sharding-poxy、sharding-ui简单配置

1）、下载地址：下载 :: ShardingSphere

 2）、补全sharding-poxy、sharding-ui 的lib文件夹下的.jar后缀，并拷贝连接mysql的jdbc驱动到poxy的lib目录下

 3）、配置sharding-poxy的cofig下的server.yaml和config-sharding.yaml

         #server.yaml配置参考

 #config-sharding.yaml 配置参考

schemaName: sharding_db

dataSources:
  a11000000:
    url: jdbc:mysql://192.168.0.4:3306/a11000000?serverTimezone=UTC&useSSL=true&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  a50000000:
    url: jdbc:mysql://192.168.0.4:3306/a50000000?serverTimezone=UTC&useSSL=true&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

shardingRule:
  tables:
    t_order:
      actualDataNodes: a${[11000000,50000000]}.t_order_${2019..2021}
      tableStrategy:
        inline:
          shardingColumn: yearmonth
          algorithmExpression: t_order_${yearmonth[0..3]}
      keyGenerator:
        type: SNOWFLAKE
        column: yearmonth
    t_order_item:
      actualDataNodes: a${[11000000,50000000]}.t_order_item_${2019..2021}
      tableStrategy:
        inline:
          shardingColumn: yearmonth
          algorithmExpression: t_order_item_${yearmonth[0..3]}
      keyGenerator:
        type: SNOWFLAKE
        column: yearmonth
  bindingTables:
    - t_order,t_order_item
  defaultDatabaseStrategy:
    inline:
      shardingColumn: dealerid
      algorithmExpression: a${dealerid}
  defaultTableStrategy:
    none:

4）、连接测试下

 5）、sharding-ui简单配置

#放开sharding-poxy的server.yaml注释并配置zookeeper

 #启动sharding-ui添加注册中心、配置中心

非生物语言学家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SpringBoot+Sharding-JDBC分库分表实战
06-11
《SpringBoot+Sharding-JDBC分库分表实战》是一个深度探讨如何在Java环境中利用SpringBoot框架和Sharding-JDBC库实现数据库分库分表的实践教程。本教程旨在帮助开发者掌握在高并发、大数据量场景下，如何有效提升...
sharding-proxy实现分表
04-18
接下来我们将深入探讨标题和描述中涉及的“sharding-proxy实现分表”这一主题。 ### 1. 分库分表介绍 分库分表是数据库水平扩展的一种常见策略，用于解决单表数据量过大导致的性能问题。随着业务的增长，数据量...
sharding-jdbc水平垂直分库分表环境搭建
weixin_38312719的博客
10-17 469
使用docker启动两个mysql数据库 docker run -it -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 mysql docker run -it -e MYSQL_ROOT_PASSWORD=123456 -p 3307:3306 mysql 水平分表使用表创建 1.结构如下: 2.表sql create table t_user_1 ( user_id bigint null, //用户id user_name varch..
MyCat实现读写分离、分库分表——环境搭建
qq_42282792的博客
01-07 360
一、环境搭建 环境准备： 采用Vmware做虚拟机，3台虚拟机 Linux centOS 7 采用yum方式，其中两台安装MySql 检查两台MySQL是否正确 下载MyCat软件包 第三台机器安装MyCat，并且修改配置文件 架构图如下 (一)MySQL安装 概述 ： Linux中，通过yum方式安装MySql MySQL官方安装教程：https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html 1、 Adding t
sharding-proxy
weixin_35997672的博客
12-09 3164
对使用该组件的一个感受描述。 1：sharding-proxy的使用方式大致是，你安装sharding-proxy提供的执行文件，然后修改里面的分库分表，db等配置，然后你就像连接db一样的协议去连接 sharding-proxy。 2：sharding-ui非常不错，，他能直接的管理sharding-proxy，在上面动态修改配置等信息。达到自己本次一些升级的效果。 3:1-2都是说的使用sharding体系的sharding-proxy与sharding-ui比较好的地方，接下来说一些，不好的地方。
shardbatis实现分表
JAVA开发老菜鸟的专栏
11-04 499
Shardbatis的名称由shard(ing)+mybatis组合得到，是谷歌的一款开源软件。旨在为mybatis实现数据水平切分的功能。数据的水平切分包括多数据库的切分和多表的数据切分，目前shardbatis只实现了单数据库的数据多表水平切分。Shardbatis对mybatis的代码无侵入，不改变用户对mybatis的使用习惯。 1.配置pom文件依赖 <!-- pom中引入依赖 --> <dependency> <groupId>org.shardbat
Sharding-Proxy 简介
实践求真知
11-10 1629
一 点睛 1 定位为透明的数据库代理端。 2 Sharding-Proxy为独立应用，需要安装服务，进行分库分表或者读写分离配置，然后启动使用。 二安装 1在官网下载下面文件 apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.zip 2解压该文件 3lib目录下的 jar 包补充后缀 .jar 4拷贝mysql的驱动到lib中 mysql-connector-java-8.0.13.jar 三...
sharding-sphere-demo 分表分库
04-28
在提供的`sharding-sphere-demo`压缩包中，可能包含了一个示例项目，演示了如何使用Sharding-Sphere进行分库分表的配置和实践。这个示例可能会涵盖以下几个方面： 1. **初始化配置**：数据库连接信息、分片规则、...
sharding-jdbc分库分表
07-23
总结，Sharding-JDBC作为一个优秀的数据库中间件，通过分库分表和读写分离技术，为Java开发者提供了强大的数据库扩展能力。通过深入学习和实践"shanjupay"项目，我们可以更好地理解和运用这一技术，以应对日益增长的...
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
本篇文章将详细讲解如何使用Spring Boot结合Sharding-JDBC和Mybatis-Plus实现分库分表功能。 一、Sharding-JDBC简介 Sharding-JDBC是由Apache ShardingSphere项目提供的一个轻量级数据库中间件，它作为JDBC驱动...
Sharding Proxy搭建
batman
07-24 1131
前言 项目中使用sharding-jdbc分库分表，带来一个问题就是，我们查询的时候很不方便，找了一下sharding-proxy可以解决这个问题， 它的主要思路是将多个库的连接做成一个代理连接，再加上我们配置的策略，从而实现分库分表下客户端操作很方便。 本文是基于之前博客sharding-proxy的策略去做的，不明白的可以看之前的博客----- 搭建步骤 下载文件,解压文件 http://mirror.bit.edu.cn/apache/incubator/shardingsphere/4.0.0-R.
Sharding-Proxy简单应用
Kiven_ch的博客
07-28 656
Sharding-Proxy简介 Sharding-Proxy是ShardingSphere的第二个产品，定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前先提供MySQL版本，它可以使用任何兼容MySQL协议的访问客户端(如：MySQL Command Client, MySQL Workbench等操作数据，对DBA更加友好。 向应用程序完全透明，可直接当做MySQL使用 适用于任何兼容MySQL协议的客户端 Sharding-Proxy的优势
Sharding-Proxy分库分表、读写分离配置
river106的博客
04-30 1781
1、简介 Apache ShardingSphere 是一套开源的分布式数据库增强计算引擎，由 JDBC、Proxy 和 Sidecar（规划中） 3 款产品组成。其通过可插拔架构构建基于数据库之上的生态系统，实现包括数据分片、弹性伸缩、加密脱敏等功能为代表的增强能力。 ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目。 Sharding-Proxy定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。
浅谈分库分表
本人是个小小程序员，此博客一是为了激励自己学习，二是为了记录自己的学习历程，三是为了能够及时回顾相关知识。
05-21 535
文章目录前言一、为什么要分库分表1.数数据性能瓶颈的出现2.数据库优化方案对比2.1 重启2.2 SQL与索引2.3 表与存储引擎2.4 架构2.5 数据库配置2.6 操作系统3. 什么时候分表二、分库分表的类型和特点1. 垂直切分2. 水平切分3. 分库分表带来的问题总结 前言 理解分库分表的意义 理解数据切分的不同方式，以及带来的问题与解决方案 通过实际案例掌握MyCat特性与详细配置含义 理解MyCat监控与日志查看 一、为什么要分库分表 随着业务变得越来越复杂，用户越来越多，集中式的架构.
shardingpoxy自定义分库分表记录与踩坑
qq_37234382的博客
06-01 833
环境(windows)： shardingpoxy: 4.1.1
sharding-proxy 分库分表配置
oneslide
03-15 559
MySQL会给外键默认加一个索引吗？ 参考SHOW INDEX Statement 的确会给外键默认加一个索引。 外键约束 默认创建的外键，子表加入引用父表某一行，那么更新子表的外键列和父表的主键都会 被拒绝。 ...
分库分表利器sharding-proxy
qq_44306975的博客
12-14 4795
sharding-proxy的使用
ShardingProxy从0-1使用详细步骤
最新发布
Ivyvivid的博客
06-15 1295
Sharding-Proxy的优势在于对异构语言的支持(无论使用什么语言，就都可以访问)，以及为DBA提供可操作入口。Sharding-Proxy 默认不支持hint，如需支持，请在conf/server.yaml中，将props的属性proxy.hint.enabled设置为true。在Sharding-Proxy中，HintShardingAlgorithm的泛型只能是String类型。Sharding-Proxy默认使用3307端口，可以通过启动脚本追加参数作为启动端口号。
Java的三种代理模式
weixin_34121282的博客
01-16 1448
Java的三种代理模式 1.代理模式 代理(Proxy)是一种设计模式,提供了对目标对象另外的访问方式;即通过代理对象访问目标对象.这样做的好处是:可以在目标对象实现的基础上,增强额外的功能操作,即扩展目标对象的功能. 这里使用到编程中的一个思想:不要随意去修改别人已经写好的代码或者方法,如果需改修改,可以通过代理的方式来扩展该方法 举个例子来说明代理的作用:假设我们想邀请一位明星,那么并不是直接...
Sharding-JDBC分库分表详解：从概念到配置
Sharding-JDBC 是一个轻量级的Java框架，用于解决大数据量场景下的数据库分库分表问题。它允许开发者在不修改现有业务代码的情况下，通过配置实现数据的分布式存储。在分库分表的概念中，主要涉及到以下几个核心点：...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值