Mysql之Sharding-jdbc实现分库分表，读写分离

最新推荐文章于 2024-04-19 19:02:51 发布
最新推荐文章于 2024-04-19 19:02:51 发布
阅读量255 收藏
点赞数
分类专栏： 分布式集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qch7qch/article/details/115836759
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

作业需求
l 集群环境

  • 6台

  • 主master1负责写，从slave1 slave2负责读

  • 主master2负责写，从slave3 slave4负责读

l 代码

  • 主要类&方法&参数&返回值及代码行标注注释

  • 基于user_id对c_order表进⾏数据分⽚

  • 基于master1和master2主从集群实现读写分离

l 运行效果

  • 项目各个类作用介绍，重点代码行介绍，启动

  • 演示基于user_id对c_order表进⾏数据分⽚，基于master1和master2主从集群实现读写分离

  • 添加数据，通过Navicat展示数据分片成功，通过代码控制台真实sql展示数据分别在master1和master2进行写入

  • 查询数据，通过代码控制台真实sql展示数据是通过4个从节点查询的

一、环境机器介绍

1.环境介绍涉及的各个软件的版本

软件版本
Mysqlmysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
虚拟机VMware-workstation-full-15.1.0-13591040.exe
OSCentOS-7-x86_64-DVD-1810.iso

2.介绍各个机器对应角色&作用&ip地址

机器职责虚拟机ip
master1CenOS 7-01192.168.142.128
slave3CenOS 7-06192.168.142.129
slave4CenOS 7-04192.168.142.132
master2CenOS 7-03192.168.142.130
slave5CenOS 7-05192.168.142.133
slave6CenOS 7-02192.168.142.134

二、搭建

1、环境准备

首先需要6台服务器，master1，slave3,slave4按照：链接: MySQL集群搭建里目录【三、MySQL集群搭建主从复制】进行主从搭建，master2，slave5,slave6也同理

2、创建sharding-jdbc-work

在这里插入图片描述
1）配置文件
application.properties

spring.profiles.active=sharding-database
#打印sql数据
spring.shardingsphere.props.sql.show=true


#一、定义数据源
spring.shardingsphere.datasource.names=master1,master2,slave3,slave4,slave6
#默认连接池
#主：master1,slave3,slave4
spring.shardingsphere.datasource.master1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master1.jdbc-url=jdbc:mysql://192.168.142.128:3306/lagou?serverTimezone=GMT%2B8&useSSL=false
spring.shardingsphere.datasource.master1.username=root
spring.shardingsphere.datasource.master1.password=root

spring.shardingsphere.datasource.slave3.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave3.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave3.jdbc-url=jdbc:mysql://192.168.142.129:3306/lagou?serverTimezone=GMT%2B8&useSSL=false
spring.shardingsphere.datasource.slave3.username=root
spring.shardingsphere.datasource.slave3.password=root

spring.shardingsphere.datasource.slave4.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave4.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave4.jdbc-url=jdbc:mysql://192.168.142.132:3306/lagou?serverTimezone=GMT%2B8&useSSL=false
spring.shardingsphere.datasource.slave4.username=root
spring.shardingsphere.datasource.slave4.password=root

#主：master2,slave5,slave6
spring.shardingsphere.datasource.master2.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master2.jdbc-url=jdbc:mysql://192.168.142.130:3306/lagou?serverTimezone=GMT%2B8&useSSL=false
spring.shardingsphere.datasource.master2.username=root
spring.shardingsphere.datasource.master2.password=root

#spring.shardingsphere.datasource.slave5.type=com.zaxxer.hikari.HikariDataSource
#spring.shardingsphere.datasource.slave5.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.slave5.jdbc-url=jdbc:mysql://192.168.142.133:3306/lagou?serverTimezone=GMT%2B8&useSSL=false
#spring.shardingsphere.datasource.slave5.username=root
#spring.shardingsphere.datasource.slave5.password=root

spring.shardingsphere.datasource.slave6.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave6.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave6.jdbc-url=jdbc:mysql://192.168.142.134:3306/lagou?serverTimezone=GMT%2B8&useSSL=false
spring.shardingsphere.datasource.slave6.username=root
spring.shardingsphere.datasource.slave6.password=root
#读写分离
spring.shardingsphere.sharding.master-slave-rules.master1.master-data-source-name=master1
spring.shardingsphere.sharding.master-slave-rules.master1.slave-data-source-names=slave3,slave4
spring.shardingsphere.sharding.master-slave-rules.master2.master-data-source-name=master2
spring.shardingsphere.sharding.master-slave-rules.master2.slave-data-source-names=slave6

#二、指定分库策略sharding
#行表达式，根据id拆分
#分表 根据commpanyid拆分库，根据id拆分表
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.algorithm-expression=master$->{user_id % 2+1}
spring.shardingsphere.sharding.tables.c_order.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.c_order.table-strategy.inline.algorithm-expression=c_order${id % 2+1}
spring.shardingsphere.sharding.tables.c_order.actual-data-nodes=master${1..2}.c_order${1..2}
spring.shardingsphere.sharding.tables.c_order.key-generator.column=id
spring.shardingsphere.sharding.tables.c_order.key-generator.type=SNOWFLAKE

2、Order类和OrderRepostory

package com.qch.entity;

import javax.persistence.*;
import java.util.Date;

/**
 * @Author qch
 * @Date 2021/4/18
 */
@Entity
@Table(name = "c_order")
public class Order {
    @Id
    @Column(name = "id")
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private long id;

    @Column(name = "is_del")
    private Boolean isDel;

    @Column(name = "company_id")
    private Integer companyId;

    @Column(name = "position_id")
    private long positionId;

    @Column(name = "user_id")
    private Integer userId;

    @Column(name = "publish_user_id")
    private Integer publishUserId;

    @Column(name = "resume_type")
    private Integer resumeType;

    @Column(name = "status")
    private String status;

    @Column(name = "create_time")
    private Date createTime;

    @Column(name = "update_time")
    private Date updateTime;

    public long getId() {
        return id;
    }

    public void setId(long id) {
        this.id = id;
    }

    public Boolean getDel() {
        return isDel;
    }

    public void setDel(Boolean del) {
        isDel = del;
    }

    public Integer getCompanyId() {
        return companyId;
    }

    public void setCompanyId(Integer companyId) {
        this.companyId = companyId;
    }

    public long getPositionId() {
        return positionId;
    }

    public void setPositionId(long positionId) {
        this.positionId = positionId;
    }

    public Integer getUserId() {
        return userId;
    }

    public void setUserId(Integer userId) {
        this.userId = userId;
    }

    public Integer getPublishUserId() {
        return publishUserId;
    }

    public void setPublishUserId(Integer publishUserId) {
        this.publishUserId = publishUserId;
    }

    public Integer getResumeType() {
        return resumeType;
    }

    public void setResumeType(Integer resumeType) {
        this.resumeType = resumeType;
    }

    public String getStatus() {
        return status;
    }

    public void setStatus(String status) {
        this.status = status;
    }

    public Date getCreateTime() {
        return createTime;
    }

    public void setCreateTime(Date createTime) {
        this.createTime = createTime;
    }

    public Date getUpdateTime() {
        return updateTime;
    }

    public void setUpdateTime(Date updateTime) {
        this.updateTime = updateTime;
    }

    @Override
    public String toString() {
        return "Order{" +
                "id=" + id +
                ", isDel=" + isDel +
                ", companyId=" + companyId +
                ", positionId=" + positionId +
                ", userId=" + userId +
                ", publishUserId=" + publishUserId +
                ", resumeType=" + resumeType +
                ", status='" + status + '\'' +
                ", createTime=" + createTime +
                ", updateTime=" + updateTime +
                '}';
    }
}

OrderRepository

package com.qch.repository;

import com.qch.entity.Order;
import org.springframework.data.jpa.repository.JpaRepository;

public interface OrderRepository extends JpaRepository<Order,Long> {
}

启动类

@SpringBootApplication
public class RunBoot {
}

测试类

package com.qch;

import com.qch.entity.Order;
import com.qch.repository.OrderRepository;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.annotation.Repeat;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.Date;
import java.util.List;
import java.util.Random;

/**
 * @Author qch
 * @Date 2021/4/14
 */
@RunWith(SpringRunner.class)
@SpringBootTest(classes = RunBoot.class)
public class TestShardingBase {

    @Autowired
    private OrderRepository bOrderRepository;

    @Test
    @Repeat(20)
    public void addSharingOrder()
    {
        int userId=new Random().nextInt(10);
        Order bOrder=new Order();
        bOrder.setCompanyId(4444);
        bOrder.setDel(false);
        bOrder.setPositionId(233344);
        bOrder.setUserId(userId);
        bOrder.setPublishUserId(111);
        bOrder.setResumeType(1);
        bOrder.setStatus("AUTO");
        bOrder.setCreateTime(new Date());
        bOrder.setUpdateTime(new Date());

        bOrderRepository.save(bOrder);
        }

    @Test
    public void addAll()
    {
        List<Order> all = bOrderRepository.findAll();
        all.forEach(p->{
            System.out.println(p.toString());
        });
        System.out.println(all.size());
    }
}

三、运行结果

在这里插入图片描述

在这里插入图片描述

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

qch7qch
关注
专栏目录
springboot整合sharding-jdbc实现分库分表详解
congge
05-21 6753
springboot整合sharding-jdbc实现分库分表详解
若依集成sharding-jdbc实现分库分表
猿小白的博客
08-07 3009
是由当当捐入给apache的一款分布式数据库中间件，支持垂直分库、垂直分表、水平分库、水平分表、读写分离、分布式事务和高可用等相关功能。
MySQL思考-分库分表(Sharding-JDBC)
flowerAndJava的博客
03-18 578
一 分库分表基本概念 1.1 分库 将一个数据库，在节点上部署多台。因为当很多客户端连接客户端，并发量高，需要进行分库。 1.2 分表 将一个表，分成多个表。因为在MySQL中一个表数据达到5千万条，数据库性能严重下降。 1.3 分区 概述 分区技术是数据库内部技术，对于我们开发者来说，一张表分区后仍然是一张表，我们开发操作表名没有变化。仅仅是将表分成若干物理区。 为什么不使用分区 受单机因素限制(大量连接、高吞吐)，虽然每个区是独立的，但是分区表的总入口就一个。 二 分库分表的中间件 我们
Sharding-JDBC教程：Mysql数据库主从搭建
方志朋的专栏
06-29 9198
转载请标明出处： http://blog.csdn.net/forezp/article/details/87075651 本文出自方志朋的博客 mysql 5.7 安装 这是系列文章Sharding-jdbc文章的第一篇，本篇文章主要讲述如何搭建Mysql的主从。搭建环境为centos 7.5，数据库版本为5.7。需要三台虚拟机，一主两从，读者可以在自己的电脑上创建虚拟机，也可以在云服务商买...
【mysql】mysql分库分表初步了解之Sharding-JDBC
Meditation_Crazy
03-07 198
前言 学习教程 https://www.iocoder.cn/Spring-Boot/sharding-datasource/?self
mysql 5.7 sharding_Sharding-jdbc教程：Mysql数据库主从搭建
weixin_29079671的博客
01-27 221
这是系列文章Sharding-jdbc文章的第一篇，本篇文章主要讲述如何搭建Mysql的主从。搭建环境为centos 7.5，数据库版本为5.7。需要三台虚拟机，一主两从，读者可以在自己的电脑上创建虚拟机，也可以在云服务商买三台，按小时计费，一小时几毛钱，比较实惠。Ip分配如下：10.0.0.5 主10.0.0.13 从10.0.0.17 从安装Mysql 5.7下载yum源wgethttps:...
mysql分表组件_利用Sharding-Jdbc组件实现分表
weixin_39614831的博客
02-10 342
看到了当当开源的Sharding-JDBC组件，它可以在几乎不修改代码的情况下完成分库分表的实现。摘抄其中一段介绍：Sharding-JDBC直接封装JDBC API，可以理解为增强版的JDBC驱动，旧代码迁移成本几乎为零：可适用于任何基于java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。可基于任何第三方的数据库...
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
本篇文章将详细讲解如何使用Spring Boot结合Sharding-JDBC和Mybatis-Plus实现分库分表功能。 一、Sharding-JDBC简介 Sharding-JDBC是由Apache ShardingSphere项目提供的一个轻量级数据库中间件，它作为JDBC驱动...
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离.docx
08-26
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离 Sharding-JDBC是阿里巴巴开源的关系型数据库中间件，提供了数据库分库分表、读写分离、数据库路由等功能。本教程将指导读者使用Sharding-...
使用Sharding-JDBC实现分库分表
最新发布
2401_84048179的博客
04-19 993
Sharding-JDBC是当当网研发的开源分布式数据库中间件，从 3.0 开始Sharding-JDBC被包含在 Sharding-Sphere中，之后该项目进入进入Apache孵化器，4.0版本之后的版本为Apache版本。ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding- Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。
Mysql分库分表--sharding-jdbc
Alan0517
04-27 378
【代码】Mysql分库分表--sharding-jdbc。
MYSQLg高级-------分库分表之核心Sharding-JDBC
热门推荐
沉淀、分享、成长，让自己和他人都能有所收获！
08-13 1万+
Sharding-JDBC 简介1 、是轻量级的java框架，是增强版的JDBC驱动（ 1 ）主要目的是：简化对分库分表之后数据相关操作Sharding-JDBC 实现水平分表1 、搭建环境（ 1 ）技术：SpringBoot 2.2.1+ MyBatisPlus + Sharding-JDBC + Druid连接池（ 2 ）创建SpringBoot工程（ 3 ）修改工程SpringBoot版本 2.2.（ 4 ）引入需要的依赖1.1.20mysql。...............
MySQL 使用 Sharding-jdbc 分库分表
weixin_62812758的博客
03-06 955
Sharding-JDBC最早是当当网外部应用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的一直迭代下，性能也逐步欠缺，现已更名为 ShardingSphere，2020年4⽉16⽇正式成为 Apache 软件基⾦会的顶级项⽬。随着版本的一直更迭 ShardingSphere 的外围性能也变得多元化起来。
使用Sharding-JDBC 实现Mysql读写分离
Lifelong learning
07-17 896
介绍了MySQL的读写分离架构搭建以及使用Sharding-JDBC去实现程序中无感知使用读写分离。httpshttps。
利用Sharding-JDBC 实现Mysql读写分离
码农小胖哥
07-07 894
为什么要读写分离？读写分离则是将事务性的增、改、删操作在主库执行，查询操作在从库执行。一般业务的写操作都是比较耗时，为了避免写操作影响查询的效率，可以使用读写分离。当然读写分离并不是万能的，还有前面的分库分表方案。读写分离如何搭建？MySQL搭建读写分离非常简单，一般有一主一从、一主多从，对于MySQL的主从的相关概念这里就不再详细介绍了。下面陈某就以MySQL5.7为例...
Sharding-JDBC自动实现MySQL读写分离
何哥的博客
10-24 3429
前言：上一篇博客我用AOP+AbstractRoutingDataSource实现了MySQL读写分离，自己写代码实现判断该使用哪个数据源挺麻烦的。Sharding-JDBC 是 Apache 旗下的 ShardingSphere 中的一款轻量级产品，引入 jar 即可完成读写分离的需求，可以理解为增强版的 JDBC，现在被使用的较多。使用Sharding-JDBC配置MySQL读写分离，优点在于数据源完全有Sharding-JDBC托管，写操作自动执行master库，读操作自动执行slave库。不需要程序
mysql 水平分表（分库）| sharding-jdbc实战详细步骤
2201_75287294的博客
11-21 851
因为MOD算法只能处理t_order_0、t_order_1这样从零开始的，无法处理t_order_2、t_order_3序号从2开始的，MOD算法的源码是ModShardingAlgorithm，比较简单，只需要稍加修改就能符合我们的需求。
分库分表之Sharding-JDBC
长沙老码农
03-16 6028
目录 1、Sharding-JDBC概述 2、架构回顾 3、SpringBoot集成Sharding-JDBC 3.1 准备工作 3.2 配置MySQL主从复制 3.3 引入依赖坐标 3.4 application.properties配置 3.5 启动类，pojo service,dao,test 3.6 一些需要补充的概念 4、Sharding-JDBC原理 5、分库分表带来的问题 5.1 垂直分库带来的问题和解决思路 5.2 水平分库带来的问题和解决思路 5.3 我们.
九.吊打面试官系列-数据库优化-Sharding-JDBC实现分库分表
墨家巨子@俏如来
11-11 5626
比较传统的小型应用通常是一个项目使用一个数据库进行数据存储，这样的架构模式在数据量日益增长的情况下，数据库势必会成为性能瓶颈。几百万数据还可以通过数据库优化，索引优化等手段勉强支持，但是上千万，上亿的数据再怎么优化索引都无济于事。所以我们的优化手段可以是分库分表。
深入理解sharding-jdbc：分库分表与读写分离实践
水平分库分表可以有效解决单库数据量过大问题，实现读写分离，提高并发性能。例如，可以通过哈希算法将用户ID映射到不同的库，实现用户表的水平分割。 sharding-jdbc是一个Java ORM框架，它提供了对分库分表的支持...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值