Sharding-JDBC 分库分表、读写分离实战

最新推荐文章于 2024-05-27 17:51:24 发布
最新推荐文章于 2024-05-27 17:51:24 发布
阅读量212 收藏
点赞数
分类专栏： # mysql 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiqiren1994/article/details/113838504
版权

需求

采⽤Sharding-JDBC实现c_order表分库分表+读写分离

  1. 基于user_id对c_order表进⾏数据分⽚
  2. 分别对master1和master2搭建⼀主⼆从架构
    在这里插入图片描述
  3. 基于master1和master2主从集群实现读写分离
  4. c_order建表SQL如下：
CREATE TABLE `c_order`(
 `id` bigint(20) NOT NULL AUTO_INCREMENT,
 `is_del` bit(1) NOT NULL DEFAULT 0 COMMENT '是否被删
除',
 `user_id` int(11) NOT NULL COMMENT '⽤户id',
 `company_id` int(11) NOT NULL COMMENT '公司id',
 `publish_user_id` int(11) NOT NULL COMMENT 'B端⽤户id',
 `position_id` int(11) NOT NULL COMMENT '职位ID',
 `resume_type` int(2) NOT NULL DEFAULT 0 COMMENT '简历类型：
0附件 1在线',
 `status` varchar(256) NOT NULL COMMENT '投递状态 投递状态
WAIT-待处理 AUTO_FILTER-⾃动过滤 PREPARE_CONTACT-待沟通 REFUSE-拒绝
ARRANGE_INTERVIEW-通知⾯试',
 `create_time` datetime NOT NULL COMMENT '创建时间',
 `update_time` datetime NOT NULL COMMENT '处理时间',
 PRIMARY KEY (`id`),
 KEY `index_userId_positionId` (`user_id`, `position_id`),
 KEY `idx_userId_operateTime` (`user_id`, `update_time`)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;

分析

我们需要对 c_order表进行分片，需求中并没有详细描述具体分片要求，所以我们可以采用分库，再分表对其中的数据进行分片。其次对于读写分离，Sharding-JDBC也有相应的配置。对于这六个数据库我们不需要做读写分离的操作，我们相当于是在程序端控制读写分离。

操作

1.首先在两个master 库创建表，然后创建idea项目，添加相关依赖

父工程

 <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.compile.sourceEncoding>UTF-8</project.compile.sourceEncoding>
        <shardingsphere.version>4.1.0</shardingsphere.version>
        <springboot.version>2.2.5.RELEASE</springboot.version>
    </properties>
    <dependencyManagement>

        <dependencies>

            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-jdbc</artifactId>
                <version>${springboot.version}</version>
            </dependency>

            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-jpa</artifactId>
                <version>${springboot.version}</version>
            </dependency>

            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <version>${springboot.version}</version>
                <scope>test</scope>
            </dependency>

            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>5.1.48</version>
            </dependency>

            <dependency>
                <groupId>org.apache.shardingsphere</groupId>
                <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
                <version>${shardingsphere.version}</version>
            </dependency>

        </dependencies>

    </dependencyManagement>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>11</source>
                    <target>11</target>
                    <testSource>11</testSource>
                    <testTarget>11</testTarget>
                </configuration>
                <version>3.8.1</version>
            </plugin>
        </plugins>
    </build>

子工程

  <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-transaction-xa-core</artifactId>
            <version>4.0.0-RC2</version>
        </dependency>


        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-transaction-base-saga</artifactId>
            <version>4.0.0-RC2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        </dependency>

2.添加jpa对象


import javax.persistence.*;
import java.io.Serializable;
import java.util.Date;

@Entity
@Table(name = "c_order")
public class COrder implements Serializable {

    @Id
    @Column(name = "id")
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private long id;

    @Column(name = "is_del")
    private Boolean isDel;

    @Column(name = "user_id")
    private Integer userId;

    @Column(name = "company_id")
    private Integer companyId;

    @Column(name = "publish_user_id")
    private Integer publishUserId;

    @Column(name = "position_id")
    private long positionId;

    @Column(name = "resume_type")
    private Integer resumeType;

    @Column(name = "status")
    private String status;

    @Column(name = "create_time")
    private Date createTime;

    @Column(name = "update_time")
    private Date updateTime;
    
}

3.创建Repository

import entity.COrder;
import org.springframework.data.jpa.repository.JpaRepository;

public interface COrderRepository extends JpaRepository<COrder,Long> {
}

4.先分库

#datasource 配置源
spring.shardingsphere.datasource.names=master0,master1

#分布配置相关得数据源连接参数
spring.shardingsphere.datasource.master0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master0.jdbc-url=jdbc:mysql://192.168.192.130:3306/lagou
spring.shardingsphere.datasource.master0.username=root
spring.shardingsphere.datasource.master0.password=root

spring.shardingsphere.datasource.master1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master1.jdbc-url=jdbc:mysql://192.168.192.129:3306/lagou
spring.shardingsphere.datasource.master1.username=root
spring.shardingsphere.datasource.master1.password=root

#sharding-database 针对库的分库策略配置
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.algorithm-expression=master$->{user_id % 2}

#配置主建生成策略
spring.shardingsphere.sharding.tables.c_order.key-generator.column=id
spring.shardingsphere.sharding.tables.c_order.key-generator.type=SNOWFLAKE

5.再分表，需要创建c_order0，c_order1两张表

#datasource 配置源
spring.shardingsphere.datasource.names=master0,master1

#分布配置相关得数据源连接参数
spring.shardingsphere.datasource.master0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master0.jdbc-url=jdbc:mysql://192.168.192.130:3306/lagou
spring.shardingsphere.datasource.master0.username=root
spring.shardingsphere.datasource.master0.password=root

spring.shardingsphere.datasource.master1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master1.jdbc-url=jdbc:mysql://192.168.192.129:3306/lagou
spring.shardingsphere.datasource.master1.username=root
spring.shardingsphere.datasource.master1.password=root

#sharding-database 针对库的分库策略配置
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.algorithm-expression=master$->{user_id % 2}

#sharding-database 针对库的分表策略配置
spring.shardingsphere.sharding.tables.c_order.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.c_order.table-strategy.inline.algorithm-expression=c_order${id % 2}

#配置虚拟表与物理表的映射
spring.shardingsphere.sharding.tables.c_order.actual-data-nodes=master${0..1}.c_order${0..1}

#配置主建生成策略
spring.shardingsphere.sharding.tables.c_order.key-generator.column=id
spring.shardingsphere.sharding.tables.c_order.key-generator.type=SNOWFLAKE

6.实现读写分离

#datasource 配置源
spring.shardingsphere.datasource.names=master0,master1,slave0,slave1,slave2,slave3

#分布配置相关得数据源连接参数
spring.shardingsphere.datasource.master0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master0.jdbc-url=jdbc:mysql://192.168.192.130:3306/lagou
spring.shardingsphere.datasource.master0.username=root
spring.shardingsphere.datasource.master0.password=root

spring.shardingsphere.datasource.master1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.master1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master1.jdbc-url=jdbc:mysql://192.168.192.129:3306/lagou
spring.shardingsphere.datasource.master1.username=root
spring.shardingsphere.datasource.master1.password=root

spring.shardingsphere.datasource.slave0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave0.jdbc-url=jdbc:mysql://192.168.192.131:3306/lagou
spring.shardingsphere.datasource.slave0.username=root
spring.shardingsphere.datasource.slave0.password=root

spring.shardingsphere.datasource.slave1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave1.jdbc-url=jdbc:mysql://192.168.192.132:3306/lagou
spring.shardingsphere.datasource.slave1.username=root
spring.shardingsphere.datasource.slave1.password=root

spring.shardingsphere.datasource.slave2.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave2.jdbc-url=jdbc:mysql://192.168.192.134:3306/lagou
spring.shardingsphere.datasource.slave2.username=root
spring.shardingsphere.datasource.slave2.password=root

spring.shardingsphere.datasource.slave3.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.slave3.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave3.jdbc-url=jdbc:mysql://192.168.192.135:3306/lagou
spring.shardingsphere.datasource.slave3.username=root
spring.shardingsphere.datasource.slave3.password=root


#sharding-database 针对库的分库策略配置
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.c_order.database-strategy.inline.algorithm-expression=master$->{user_id % 2}

#sharding-database 针对库的分表策略配置
spring.shardingsphere.sharding.tables.c_order.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.c_order.table-strategy.inline.algorithm-expression=c_order${id % 2}

#配置虚拟表与物理表的映射
spring.shardingsphere.sharding.tables.c_order.actual-data-nodes=master${0..1}.c_order${0..1}

#配置主建生成策略
spring.shardingsphere.sharding.tables.c_order.key-generator.column=id
spring.shardingsphere.sharding.tables.c_order.key-generator.type=SNOWFLAKE

#配置读写分离
spring.shardingsphere.sharding.master-slave-rules.master0.master-data-source-name=master0
spring.shardingsphere.sharding.master-slave-rules.master0.slave-data-source-names=slave0, slave1
spring.shardingsphere.sharding.master-slave-rules.master1.master-data-source-name=master1
spring.shardingsphere.sharding.master-slave-rules.master1.slave-data-source-names=slave2, slave3

7.能看到分别往master0、master1里面的两张表中插入了数据，一共插入了5条数据

在这里插入图片描述

jiqiren1994
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sharding-jdbc分库分表
07-23
总结，Sharding-JDBC作为一个优秀的数据库中间件，通过分库分表和读写分离技术，为Java开发者提供了强大的数据库扩展能力。通过深入学习和实践"shanjupay"项目，我们可以更好地理解和运用这一技术，以应对日益增长的...
ShardingSphere数据分片之读写分离
qq_45515182的博客
12-14 2153
读写分离是一种常见的数据库架构，它将数据库分为主从库，一个主库（Master）用于写数据，多个从库（Slave）进行轮询读取数据的过程。主从库之间通过某种通讯机制进行数据的同步。
ShardingSphere实践（4）——读写分离
wzy0623的专栏
06-02 5131
ShardingSphere最重要的功能模块是数据分片，从规则到实现都比较复杂。其他功能相对来说比较简单，本篇介绍ShardingSphere的读写分离功能。 面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说，将数据库拆分为主库和从库，主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善。 通过一主多从的配置方式，可以将查询请求均匀的分散到多个
shardingsphere-jdbc（1）：实现数据库主从同步、读写分离
最新发布
weixin_46075209的博客
05-27 1091
本文主要介绍mysql分库环境搭建、数据库主从同步、shardingsphere-jdbc实现数据读写分离
6、ShardingSphere 之 读写分离
kingchengwen的专栏
07-02 2474
文章目录1 读写分离原理2 Mysql 配置主从复制2.1 创建2个Mysql 数据库服务，并启动两个Mysql服务2.2 配置Master库的/etc/my.cnf2.3 配置Slave库的/etc/my.cnf2.4 Master上创建用于主从复置的账号2.5 Slave上设置从库向主库同步3 ShardingSphere实现读写分离3.1 配置properties3.2 编写po3.3 编写mapper3.4 编写Test3.5 TestRest 1 读写分离原理 为了确保数据库产品的稳定性，很多数据
ShardingSphere读写分离
Charge8的博客
04-17 3501
读写分离是为了确保数据库产品的稳定性，很多数据库拥有双机热备功能。 原理：让主数据库（master）处理事务性增、改、删操作，而从数据库（slave）处理select查询操作。 注意： Sharding-JDBC 通过 sql 语句语义分析，实现读写分离过程，不会做数据同步。 数据同步需要数据库搭建主从集群架构，来做数据之间的主从同步。 关于数据库的主从集群架构自行搭建，下面从 Sharding-JDBC 的应用层来做数据的读写分离。 一、读写分离 1、application.properties 配置
ShardingSphere实现数据库读写分离，主从库分离，docker详细教程
lucky_fang的博客
11-21 3229
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。
sharding-jdbc按月分表样例2
05-28
5. **读写分离**：除了分库分表，Sharding-JDBC还支持读写分离，可以在配置中指定主库和多个从库，自动路由读操作到从库，写操作到主库，提升系统的并发处理能力。 6. **分布式事务**：Sharding-JDBC提供了基于X/...
spring boot整合sharding jdbc5.2.0分库分表demo
11-01
**Spring Boot 整合 ShardingSphere (Sharding JDBC) 5.2.0 分库分表实战** 在现代企业级应用开发中，随着业务量的增长，数据库的压力也随之增大，这时就需要进行数据库的分库分表操作来提升系统性能。Spring Boot ...
ShardingJDBC5.1.1按月分库分表、读写分离、自动创表完整demo
06-17
《使用ShardingJDBC5.1.1实现按月分库分表、读写分离与自动创表的全面实战》 在现代企业级应用中，数据量的快速增长使得数据库的性能优化成为至关重要的环节。ShardingJDBC作为一款轻量级的Java框架，能够有效地...
分库分表实战Spring Boot2+Sharding-JDBC视频教程-课课家教育.docx
10-02
本课程主要针对已经有一定Spring Boot基础的学习者，旨在通过实战演练，教授如何在Spring Boot项目中使用Sharding-JDBC实现分库分表、读写分离等数据库扩展技术。Sharding-JDBC是一个轻量级的Java框架，可以在不修改...
基于ShardingSphere实现数据库读写分离
weixin_43994761的博客
04-19 1079
第三步：在方法上贴注解即可。
ShardingSphere-ShardingSphere读写分离和数据脱敏
qq_39093474的博客
04-09 895
读写分离虽然可以提升系统的吞吐量和可用性，但同时也带来了数据不一致的问题，包括多个主库之间的数据一致性，以及主库与从库之间的数据一致性的问题。水平分片和读写分离联合使用，能够更加有效的提升系统性能， 下图展现了将分库分表与读写分离一同使用时，应用程序与数据库集群之间的复杂拓扑关系。在数据量不是很多的情况下，我们可以将数据库进行读写分离，以应对高并发的需求，通过水平扩展从库，来缓解查询的压力。读写分离是通过主从的配置方式，将查询请求均匀的分散到多个数据副本，进一步的提升系统的处理能力。
ShardingSphere分库分表实战之读写分离原理解析
Coder_ljw的博客
07-22 488
本篇文章主要讲解了ShardingSphere分库分表实战的核心概念，读写分离原理解析以及应用方案的学习。下节预告，ShardingSphere分库分表实战之MySQL主从同步集群的搭建，敬请期待。
ShardingSphere 的读写分离是如何实现的？
越努力越幸运。
02-23 450
ShardingSphere的读写分离实现主要依赖于SQL解析和读写分离规则。通过解析SQL语句，它能够识别查询类型并将其路由到适当的数据库数据源。这使得应用程序可以实现自动的读写分离，从而提高了系统性能和负载均衡。开发人员只需配置好数据源和读写分离规则，ShardingSphere会自动处理剩下的工作。读写分离是ShardingSphere 的重要功能。主要负责将 SQL 语句根据他们的执行逻辑不同，路由到不同的数据库中执行。读写分离功能只负责 SQL 路由，而不负责不同数据库之间的数据同步。
ShardingSphere 读写分离配置
scofild950303的博客
12-06 817
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。
分布式数据库-分库分表01-ShardingJDBC
LC的博客
12-30 1123
1.MYSQL分库分表的原理 为什么要分库分表 一般的机器（4核16G），单库的MySQL并发（QPS+TPS）超过了2k，系统基本就完蛋了。最好是并发量控制在1k左右。这里就引出一个问题，为什么要分库分表？ 1、高并发情况下，会造成IO读写频繁，自然就会造成读写缓慢，甚至是宕机。一般单库不要超过2k并发，NB的机器除外。 2、数据量大的问题。主要由于底层索引实现导致，MySQL的索引实现为B+TREE，数据量其他，会导致索引树十分庞大，造成查询缓慢。第二，innodb的最大存储限制64TB 分库分表目
shadingjdbc实战分表分库
Gblfy_Blog
08-14 1000
shadingjdbc实战分表分库
Sharding-JDBC分库分表技术详解与实战
"该文档详细介绍了Sharding-JDBC在实际应用中的分库分表和读写分离策略，特别是与SpringBoot的整合。它首先阐述了分库分表的原因，即解决因数据量增长导致的数据库性能问题。文档还探讨了不同类型的分库分表方法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值