太强了！这款轻量级的数据库中间件完美解决了SpringBoot中分库分表问题？

最新推荐文章于 2024-10-11 20:27:14 发布
最新推荐文章于 2024-10-11 20:27:14 发布
阅读量207 收藏
点赞数
文章标签： 数据库 中间件 分布式 java opera

一、 Sharding-jdbc简介

Sharding-jdbc是开源的数据库操作中间件；定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

官方文档地址：https://shardingsphere.apache.org/document/current/cn/overview

本文demo实现了分库分表功能。如有错误，欢迎各位在评论中指出。不胜感激！


二、项目结构

首先创建一个一般的Spring boot项目，项目采用三层架构，结构图如下：

POM.xml文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.6.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.macky</groupId>
    <artifactId>spring-boot-shardingjdbc</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>spring-boot-shardingjdbc</name>
    <description>Demo project for spring-boot-shardingjdbc</description>


    <properties>
        <java.version>1.8</java.version>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>


        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <!--mysql-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <!--Mybatis-Plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.1.1</version>
        </dependency>
        <!--shardingsphere start-->
        <!-- for spring boot -->
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>3.1.0</version>
        </dependency>
        <!-- for spring namespace -->
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-namespace</artifactId>
            <version>3.1.0</version>
        </dependency>
        <!--shardingsphere end-->
        <!--lombok-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
    </dependencies>


    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>


</project>

实体类以书本为例

package com.macky.springbootshardingjdbc.entity;


import com.baomidou.mybatisplus.annotation.TableName;
import com.baomidou.mybatisplus.extension.activerecord.Model;
import groovy.transform.EqualsAndHashCode;
import lombok.Data;
import lombok.experimental.Accessors;


/**
 * @author Macky
 * @Title class Book
 * @Description: 书籍是实体类
 * @date 2019/7/13 15:23
 */
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
@TableName("book")
public class Book extends Model<Book> {
    private int id;
    private String name;
    private int count;
}

开放保存和查询两个接口，代码如下：

package com.macky.springbootshardingjdbc.controller;


import com.macky.springbootshardingjdbc.entity.Book;
import com.macky.springbootshardingjdbc.service.BookService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;


import java.util.List;


/**
 * @author Macky
 * @Title class BookController
 * @Description: TODO
 * @date 2019/7/12 20:53
 */
@RestController
public class BookController {


    @Autowired
    BookService bookService;


    @RequestMapping(value = "/book", method = RequestMethod.GET)
    public List<Book> getItems(){
        return bookService.getBookList();
    }


    @RequestMapping(value = "/book",method = RequestMethod.POST)
    public Boolean saveItem(Book book){
        return bookService.save(book);
    }
}

BookServiceImpl.java

package com.macky.springbootshardingjdbc.service.impl;


import com.baomidou.mybatisplus.core.toolkit.Wrappers;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.macky.springbootshardingjdbc.entity.Book;
import com.macky.springbootshardingjdbc.mapper.BookMapper;
import com.macky.springbootshardingjdbc.service.BookService;
import org.springframework.stereotype.Service;


import java.util.List;


/**
 * @author Macky
 * @Title class BookServiceImpl
 * @Description: TODO
 * @date 2019/7/12 20:47
 */
@Service
public class BookServiceImpl extends ServiceImpl<BookMapper, Book> implements BookService {


    @Override
    public List<Book> getBookList() {
        return baseMapper.selectList(Wrappers.<Book>lambdaQuery());
    }


    @Override
    public boolean save(Book book) {
        return super.save(book);
    }
}

BookMapper.java



package com.macky.springbootshardingjdbc.mapper;


import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.macky.springbootshardingjdbc.entity.Book;


/**
 * @author Macky
 * @Title class BookMapper
 * @Description: TODO
 * @date 2019/7/12 20:46
 */
public interface BookMapper extends BaseMapper<Book> {
}

创建数据库表，DDL语句如下

创建数据库表数据
CREATE DATABASE IF NOT EXISTS `db0`;
USE `db0`;
DROP TABLE IF EXISTS `book_0`;
CREATE TABLE `book_0` (
  `id` INT ( 11 ) NOT NULL,
  `name` VARCHAR ( 255 ) DEFAULT NULL,
  `count` INT ( 11 ) DEFAULT NULL,
  PRIMARY KEY ( `id` ) 
) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;
DROP TABLE IF EXISTS `book_1`;
CREATE TABLE `book_1` (
  `id` INT ( 11 ) NOT NULL,
  `name` VARCHAR ( 255 ) DEFAULT NULL,
  `count` INT ( 11 ) DEFAULT NULL,
  PRIMARY KEY ( `id` ) 
) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;


CREATE DATABASE IF NOT EXISTS `db1`;
USE `db1`;
DROP TABLE IF EXISTS `book_0`;
CREATE TABLE `book_0` (
  `id` INT ( 11 ) NOT NULL,
  `name` VARCHAR ( 255 ) DEFAULT NULL,
  `count` INT ( 11 ) DEFAULT NULL,
  PRIMARY KEY ( `id` ) 
) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;
DROP TABLE IF EXISTS `book_1`;
CREATE TABLE `book_1` (
  `id` INT ( 11 ) NOT NULL,
  `name` VARCHAR ( 255 ) DEFAULT NULL,
  `count` INT ( 11 ) DEFAULT NULL,
  PRIMARY KEY ( `id` ) 
) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;


CREATE DATABASE IF NOT EXISTS `db2`;
USE `db2`;
DROP TABLE IF EXISTS `book_0`;
CREATE TABLE `book_0` (
  `id` INT ( 11 ) NOT NULL,
  `name` VARCHAR ( 255 ) DEFAULT NULL,
  `count` INT ( 11 ) DEFAULT NULL,
  PRIMARY KEY ( `id` ) 
) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;
DROP TABLE IF EXISTS `book_1`;
CREATE TABLE `book_1` (
  `id` INT ( 11 ) NOT NULL,
  `name` VARCHAR ( 255 ) DEFAULT NULL,
  `count` INT ( 11 ) DEFAULT NULL,
  PRIMARY KEY ( `id` ) 
) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;

配置分库分表策略application.properties：

# 数据源 db0,db1,db2
sharding.jdbc.datasource.names=db0,db1,db2
# 第一个数据库
sharding.jdbc.datasource.db0.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.db0.driver-class-name=com.mysql.cj.jdbc.Driver
sharding.jdbc.datasource.db0.jdbc-url=jdbc:mysql://localhost:3306/db0?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC
sharding.jdbc.datasource.db0.username=root
sharding.jdbc.datasource.db0.password=Aa123456


# 第二个数据库
sharding.jdbc.datasource.db1.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driver
sharding.jdbc.datasource.db1.jdbc-url=jdbc:mysql://localhost:3306/db1?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC
sharding.jdbc.datasource.db1.username=root
sharding.jdbc.datasource.db1.password=Aa123456


# 第三个数据库
sharding.jdbc.datasource.db2.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.db2.driver-class-name=com.mysql.cj.jdbc.Driver
sharding.jdbc.datasource.db2.jdbc-url=jdbc:mysql://localhost:3306/db2?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC
sharding.jdbc.datasource.db2.username=root
sharding.jdbc.datasource.db2.password=Aa123456


# 水平拆分的数据库（表） 配置分库 + 分表策略 行表达式分片策略
# 分库策略
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=id
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=db$->{id % 3}


# 分表策略 其中book为逻辑表 分表主要取决于id行
sharding.jdbc.config.sharding.tables.book.actual-data-nodes=db$->{0..2}.book_$->{0..2}
sharding.jdbc.config.sharding.tables.book.table-strategy.inline.sharding-column=count
# 分片算法表达式
sharding.jdbc.config.sharding.tables.book.table-strategy.inline.algorithm-expression=book_$->{count % 3}


# 主键 UUID 18位数 如果是分布式还要进行一个设置 防止主键重复
#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id


# 打印执行的数据库以及语句
sharding.jdbc.config.props..sql.show=true
spring.main.allow-bean-definition-overriding=true


#读写分离
sharding.jdbc.datasource.dsmaster =


接口测试使用postman

示例：GET请求------>http://localhost:8080/book POST请求：------->http://localhost:8080/book?id=1&name=java编程思想&count=8

三、总结

分库分表实现按照官方文档做一个demo是第一步，如需深入还需要研究源码，
研究架构，研究思想；此文仅作为入门demo搭建指南，如需深入理解，还请移步
至官方文档。


参考资料

  • 官方文档：https://shardingsphere.apache.org/document/current/cn/manual/sharding-jdbc/usage/sharding/

作者：Macky_He

来源：https://blog.csdn.net/Macky_He/article/details/95754402

关注微信公众号：互联网架构师，在后台回复：2T，可以获取我整理的教程，都是干货。


猜你喜欢

1、GitHub 标星 3.2w！史上最全技术人员面试手册！FackBoo发起和总结

2、如何才能成为优秀的架构师？

3、从零开始搭建创业公司后台技术栈

4、程序员一般可以从什么平台接私活？

5、37岁程序员被裁，120天没找到工作，无奈去小公司，结果懵了...

6、滴滴业务中台构建实践，首次曝光

7、不认命，从10年流水线工人，到谷歌上班的程序媛，一位湖南妹子的励志故事

8、15张图看懂瞎忙和高效的区别

9、2T架构师学习资料干货分享

互联网架构
关注
Mybatis分库分表扩展插件
xinhuashe2589的博客
05-15 3877
对于一个刚上线的互联网项目来说，由于前期活跃用户数量并不多，并发量也相对较小，所以此时企业一般都会选择将所有数据存放在一个数据库中进行访问操作。但随着后续的市场推广力度不断加强，用户数量和并发量不断上升，这时如果仅靠一个数据库来支撑所有访问压力，几乎是在自寻死路。所以一旦到了这个阶段，大部分Mysql DBA就会将数据库设置成读写分离状态，也就是一个Master节点对应多个Salve节点。经过Ma
mybatis的一个分库分表插件--jade
zongyeqing的博客
05-01 1809
通过@Intercepts注解信息和@Signature注解信息可以了解到，JadeSQLInterceptor会拦截Executor.query(MappedStatement, Object, RowBounds, ResultHandler)和Executor.update(MappedStatement, Object)两个方法@Intercepts({ @Signatur...
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表
欢迎关注公众号：【码农突围】，回复9999，可以获取一份LeetCode刷题笔记
08-25 463
点击上方“码农突围”，马上关注这里是码农充电第一站，回复“666”，获取一份专属大礼包真爱，请设置“星标”或点个“在看”来源：blog.csdn.net/Macky_He/article...
中间件：SpringBoot集成Redis
最新发布
Bisikl的博客
10-11 1042
目录 1.1 Redis简介1.1.1 基本信息1.1.2 数据结构1.1.3 优势1.2 Redis基本使用1.2.1 Windows安装1.2.2 配置1.2.3 启动1.2.4 连接 ​​​​​​编辑1.2.5 基本操作 1.3 Jedis操作Redis1.3.1 基本操作1.3.2 连接池1.4 SpringBoot操作Redis1.4.1 基本操作Redis是一个高性能的key-value数据库，以下是对其的详细介绍：Redis支持丰富的数据类型，包括但不限于：此外，Redis还提供了Geospa
太强了!这款轻量级的数据库中间件完美解决了SpringBoot分库分表?
m0_67698950的博客
06-30 339
Sharding-jdbc是开源的数据库操作中间件；定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。本文demo实现了分库分表功能。如有错误，欢迎各位在评论中指出。不胜感激！首先创建一个一般的Spring boot项目，项目采用三层架构，结构图如下：POM.xml文件如下： 实体类以书本为例 开放保存和查询两个接口，代码如下： BookServic
太强了！这款轻量级的数据库中间件完美解决了Spring Boot 中分库分表问题
芋艿V
07-28 451
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 8:55 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路，很肝~...
太强了！这款轻量级的数据库中间件完美解决了SpringBoot中分库分表问题
bishe_teacher的博客
07-01 700
太强了！这款轻量级的数据库中间件完美解决了SpringBoot中分库分表问题 一、 Sharding-jdbc简介 Sharding-jdbc是开源的数据库操作中间件；定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 官方文档地址： https://shardingsphere.apache.org/document/current/cn/overview/ 本
SpringBoot + ShardingSphere分库分表实战(附完整代码)
04-11
为了解决这个问题，开发者通常会考虑分库分表。在众多的分库分表框架中，ShardingSphere以其易用性、灵活性和强大的功能脱颖而出。它支持Java及其他异构语言，适应多种应用场景，如Java同构、容器、云原生等。 二、...
ShardingSphere:SpringBoot2+MybatisPlus+读写分离+分库分表
06-17
ShardingSphere:SpringBoot2+MybatisPlus+读写分离+分库分表 课程目标 快速的掌握读写分离+分表的实战，即插即用适用人群IT从业人员，开发人员，Java从业者，互联网从业者，性能调优人群课程简介 ShardingSphere是...
转：Mybatis分库分表扩展插件
06-01
NULL 博文链接：https://mingkongeye.iteye.com/blog/2242715
Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能
09-07
主要介绍了Spring Boot 集成 Sharding-JDBC + Mybatis-Plus 实现分库分表功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
一种简单易懂的 MyBatis 分库分表方案
weixin_34082789的博客
05-10 135
数据库分库分表除了使用中间件来代理请求分发之外，另外一种常见的方法就是在客户端层面来分库分表—— 通过适当地包装客户端代码使得分库分表的数据库访问操作代码编写起来也很方便。本文的分库分表方案基于 MyBatis 框架，但是又不同于市面上常用的方案，它们一般都是通过编写复杂的 MyBatis 插件来重写 SQL 语句，这样的插件代码会巨复杂无比，可能最终只有插件的原作者自己可以完全吃透相关代码，给...
编码技巧——Mybatis分表插件
娜娜米的博客
01-19 863
背景是新公司的基础框架不支持分库分表，并且不能使用业界常用的分库分表插件二方包（内网Maven仓库），所以基于Mybatis2.X，基于Mybatis Interceptor自行实现分表插件，后期可作为二方包在公司内推广避免重复造轮子；下面不废话，直接上你们想要的源码；
springboot+mybatis+sharding-jdbc整合分库分表实战
小鲁班-JAVA开发
08-19 3656
接上一张分库分表分析。
MyBatis分表分库插件的实现（推荐）
04-11 5019
rong-subtable MyBatis分表插件，对MyBatis代码无侵入，不改变对MyBatis的使用习惯。 使用示例 1、mybatis-config.xml配置文件添加插件 <plugins> <plugin interceptor="org.jwxa.mybatis.subtable.plugin.SubTablePlugin" /> </plugins...
SpringBoot整合ShardingSphere分库分表实战教程
"本文主要介绍了如何使用SpringBoot集成ShardingSphere进行分库分表实战。文中详细讲解了ShardingSphere的背景、定位以及其组件Sharding-JDBC的功能，并通过创建基于SpringBoot2.1.5的项目，演示了如何结合Mybatis-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值