Springboot+mybatis+shardingsphere 分库分表

最新推荐文章于 2024-06-29 19:17:18 发布
最新推荐文章于 2024-06-29 19:17:18 发布
阅读量1.1k 收藏 2
点赞数
文章标签： spring boot java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l_ian/article/details/120547449
版权

系列文章目录

前言

菜鸟一个，第一次尝试分库分表，参看网上的资料，写了一个简单的demo。

直接上代码

一、shardingsphere是什么？

Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。

Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在原有基础上提供增量，而非颠覆。

Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进行扩展。 目前，数据分片、读写分离、数据加密、影子库压测等功能，以及 MySQL、PostgreSQL、SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目。 开发者能够像使用积木一样定制属于自己的独特系统。Apache ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点，仍在不断增加中。

ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、使用步骤

1. 单库分表：

创建一个springboot项目。

pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.5.5</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <groupId>com.lhj</groupId>
    <artifactId>testSharding</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>testSharding</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!--mybatis-->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.2.0</version>
        </dependency>

        <!--mysql 驱动-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!--连接池-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.2.6</version>
        </dependency>

        <!-- 分库分表 -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

2.创建数据库，表

CREATE TABLE `t_user_0` (
  `id` bigint(20) NOT NULL,
  `name` varchar(64) DEFAULT NULL COMMENT '名称',
  `sex` tinyint(1) DEFAULT NULL COMMENT '性别',
  `phone` varchar(32) DEFAULT NULL COMMENT '电话',
  `email` varchar(32) DEFAULT NULL COMMENT '邮箱',
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `t_user_1` (
  `id` bigint(20) NOT NULL,
  `name` varchar(64) DEFAULT NULL COMMENT '名称',
  `sex` tinyint(1) DEFAULT NULL COMMENT '性别',
  `phone` varchar(32) DEFAULT NULL COMMENT '电话',
  `email` varchar(32) DEFAULT NULL COMMENT '邮箱',
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3.实体类

package com.lhj.testsharding.entity;

import lombok.Data;

import java.io.Serializable;
import java.util.Date;

@Data
public class User implements Serializable {

    /**
     * ID
     */
    private Long id;
    /**
     * 名称
     */
    private String name;
    /**
     * 手机号
     */
    private String phone;
    /**
     * 邮箱
     */
    private String email;
    /**
     * 创建时间
     */
    private Date createTime;
    /**
     * 相别
     */
    private Integer sex;

}

4.Mapper

package com.lhj.testsharding.mapper;

import com.lhj.testsharding.entity.User;
import org.apache.ibatis.annotations.Mapper;

@Mapper
public interface UserMapper {

    /**
     * 保存
     */
    public void save(User user);

    /**
     * 查询
     * @param id
     * @return
     */
    public User get(Long id);
}

5.Service

package com.lhj.testsharding.service;

import com.lhj.testsharding.entity.User;

public interface UserService {


    /**
     * 保存
     */
    void save(User user);

    /**
     * 查询
     * @param id
     * @return
     */
    User get(Long id);
}

5.ServiceImpl

package com.lhj.testsharding.service.Impl;

import com.lhj.testsharding.entity.User;
import com.lhj.testsharding.mapper.UserMapper;
import com.lhj.testsharding.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;


@Service
public class UserServiceImpl implements UserService {

    @Autowired
    private UserMapper userMapper;

    @Override
    public void save(User user) {
        userMapper.save(user);
    }

    @Override
    public User get(Long id) {
        return userMapper.get(id);
    }
}

6.Controller

package com.lhj.testsharding.controller;

import com.lhj.testsharding.entity.User;
import com.lhj.testsharding.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Date;

@RestController
public class UserController {

    @Autowired
    private UserService userService;


    @RequestMapping("/user/save")
    public String save() {
        for (int i = 0; i <10 ; i++) {
            User user=new User();
            user.setName("小明"+i);
            user.setCreateTime(new Date());
            user.setSex(i%2==0?1:2);
            user.setPhone("1888888"+i);
            user.setEmail("188888@"+i+".com");
            userService.save(user);
        }

        return "success";
    }

    @RequestMapping("/user/get/{id}")
    public User get(@PathVariable Long id) {
        User user =  userService.get(id);
        System.out.println(user.getId());
        return user;
    }

}

7.mapper.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.lhj.testsharding.mapper.UserMapper">

    <insert id="save" parameterType="com.lhj.testsharding.entity.User">
        INSERT INTO t_user(name,phone,email,sex)
        VALUES
        (
            #{name},#{phone},#{email},#{sex}
        )
    </insert>

    <select id="get" parameterType="long" resultType="com.lhj.testsharding.entity.User">
        select * from t_user where id = #{id}
    </select>

</mapper>

8.application.yml


server:
  port: 8080

mybatis:
  configuration:
    map-underscore-to-camel-case: true
  mapper-locations: classpath:mapper/*Mapper.xml

#sharding 分片策略
spring:
  # 配置数据源，给数据源起名是ds0,ds1...此处可配置多数据源
  shardingsphere:
    datasource:
      names: ds0
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://localhost:3306/数据库名
        username: 用户名
        password: 密码
    sharding:
      tables:
        t_user:
          # 配置表的分布，表的策略
          actual-data-nodes: ds0.t_user_$->{0..1}
          # 指定t_user表 主键id 生成策略为 SNOWFLAKE
          key-generator:
            column: id
            type: SNOWFLAKE
          # 指定分片策略 按照id字段添加到表
          table-strategy:
            inline:
              sharding-column: id
              #根据ID字段是否为奇数偶数然后添加到表
              algorithm-expression: t_user_$->{id % 2}

    # 打开sql输出日志
    props:
      sql:
        show: true

9.项目结构

在这里插入图片描述

10.测试

使用postman接口测试工具，调用接口。
在这里插入图片描述
查看数据库数据：
t_user_0
在这里插入图片描述
t_user_1
在这里插入图片描述

到此单库分表已经完成，希望对大家有所帮助。

11. 分库分表：

只需要在创建一个数据库。更改一下application.yml

数据库图：
在这里插入图片描述
application.yml


server:
  port: 8080

mybatis:
  configuration:
    map-underscore-to-camel-case: true
  mapper-locations: classpath:mapper/*Mapper.xml


#sharding 分片策略
spring:
  # 配置数据源，给数据源起名是ds0,ds1...此处可配置多数据源
  shardingsphere:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://localhost:3306/数据库名
        username: 用户名
        password: 密码
      ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://localhost:3306/数据库名
        username: 用户名
        password: 密码
    sharding:
      tables:
        t_user:
          # 指定t_user表 主键id 生成策略为 SNOWFLAKE
          key-generator:
            column: id
            type: SNOWFLAKE
          # 配置表的分布，表的策略
          actual-data-nodes: ds$->{0..1}.t_user_$->{0..1}


          # 指定分片策略 按照sex字段添加到库
          database-strategy: #分库策略
            inline: #行表达式
              sharding-column: sex
              algorithm-expression: ds$->{sex % 2}
          # 指定分片策略 按照id字段添加到表
          table-strategy:
            inline:
              sharding-column: id
              algorithm-expression: t_user_$->{id % 2}

    # 打开sql输出日志
    props:
      sql:
        show: true

总结

以上就是demo的全部内容，第一次尝试分库分表，若有不足之处，请指点出来，谢谢大家的支持。
l_ian
关注
shardingsphere-jdbc之Mybatis分表
Lance
02-21 849
介绍 基于shardingsphere-jdbc进行单库分表 1. maven项目依赖 <dependencies> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
springboot+mybatis快速集成ShardingSphere实现分库分表
weixin_39702187的博客
11-03 3027
市面上实现分库分表的中间件有挺多的，这次我们说一说ShardingSphere集成到springboot的几个步骤， 其实也是很万金油的步骤哈哈。 1. 引入依赖 我们引入sharding-jdbc的springboot启动器 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter&l
MyBatis-Flex+ShardingSphere-JDBC多数据源分库分表
最新发布
hjvvlkn的博客
06-29 2110
补充：mybatis-plus不支持多数据源切换，得自己实现，且还得自己进行自定义事务增强。
SpringBoot: spring boot+MyBatis+ShardingSphere实现分表分库
amadeus_liu2的博客
05-19 1049
一。准备3个数据库(ds0,ds1,ds2)，其中ds0和ds1用来存储分表分库的数据，ds2用来存储不进行分表分库的数据.在ds0和ds1数据库分别建立3张数据表 create table tab_user2(id int auto_increment primary key,name varchar(5),gender varchar(5),age int); create table tab_user1(id int auto_increment primary key,name varchar(
springboot + mybatis + ShardingSphere 单库分表
weixin_52408571的博客
04-26 213
ShardingSphere 单库分表 无脑copy
Spring Boot 2.1.6 使用sharding-sphere + Mybatis-Plus 实现分库分表（一）
breet34843650的博客
07-11 5375
Spring Boot 2.1.6 使用sharding-sphere + Mybatis-Plus 实现分库分表（一） 懒惰是前进的最大天敌。菜鸟学习笔记，大佬请绕路，转载请标明出处 关于sharding-sphere介绍，这里不做过多解释，请自行百度。 创建空Spring boot 项目，官方创建项目地址，pom.xml文件引入相关依赖。 pom.xml文件如下 <?xml ver...
Java+Springboot+mybatis+sharding jdbc 实现分库分表
10-28
本项目基于Java、SpringBoot、MyBatis以及ShardingJDBC实现了一个分库分表的解决方案，旨在帮助开发者理解并掌握这一技术。以下是关于这些技术的详细介绍： **Java**： Java是一种广泛使用的面向对象的编程语言，...
SpringBoot + ShardingSphere分库分表实战(附完整代码)
04-11
【SpringBoot + ShardingSphere分库分表实战】 在应对大数据量的系统中，分库分表是一种常见的解决策略，可以有效地分散数据库压力，提高系统的处理能力。在Java开发领域，ShardingSphere是一个广泛使用的开源...
SpringBoot+Mybatis-Plus整合Sharding-JDBC5.1.1实现单库分表【全网最新】.doc
07-09
在现代软件开发中，随着业务量的增长，单一数据库往往难以满足高性能、高并发的需求，因此分库分表成为了一种常见的解决方案。传统的分库分表方案如Mycat虽然强大，但因其bug较多，使得许多人转向Sharding-JDBC等...
基于yml 配置方式 ，实现springBoot+sharding-jdbc+mybatis-plus 实现分库分表，读写分离，以及全局表，子表的配置
10-26
1、基于yml 配置方式 ，实现springBoot+sharding-jdbc+mybatis-plus 实现分库分表，读写分离，以及全局表，子表的配置。 2、实现mybatis-plus 整合到springboot 详细使用请看 测试用例
springboot+mybatis-plus+shardingsphere 实现读写分离
04-09
然后，ShardingSphere是由Apache软件基金会孵化的项目，它专注于分布式数据库解决方案，包括分库分表、读写分离、数据加密等功能。在本项目中，ShardingSphere的读写分离特性被用来提升系统的性能。读写分离的基本...
ShardingSphere:SpringBoot2+MybatisPlus+Swagge分库分表
06-17
课程目标 快速的掌握分库的实战，即插即用适用人群IT从业人员，开发人员，Java从业者，互联网从业者，性能调优人群课程简介 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈。 它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成，shardingSphere定位为关系型数据库中间件。? Sharding-JDBC Sharding-JDBC是Sharding-Sphere的第一个产品，也是Sharding-Sphere的前身，是当当网开源的一个产品。定位为轻量级的Java框架，在Java的JDBC层提供额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。Sharding-JDBC可以通过Java，YAML，Spring命名空间和Spring Boot Start
Sharding-JDBC读写分离探秘
热门推荐
rhwayfun专栏
11-19 1万+
前段时间写了篇如何使用Sharding-JDBC进行分库分表的例子，相信能够感受到Sharding-JDBC的强大了，而且使用配置都非常干净。官方支持的功能还包括读写分离、分布式主键、强制路由等。这里再介绍下如何在分库分表的基础上集成读写分离的功能。读写分离的概念 就是为了缓解数据库压力，将写入和读取操作分离为不同数据源，写库称为主库，读库称为从库，一主库可配置多从库。 设置主从库后，第一个问题
spring boot+mybatis+druid 的项目接入shardingsphere jdbc
qq_37721238的博客
04-10 1094
spring boot+mybatis+druid 的现有项目接入shardingsphere jdbc
SpringBoot+Mybatis+ShardingSphere整合，简单实现读写分离
qq_39946015的博客
09-29 3287
本篇主要记录对ShardingSphere的整合，SpringBoot+Mybatis的整合详见之前的文章https://blog.csdn.net/qq_39946015/article/details/120549447 对于ShardingSphere的整合，主要是进行配置，配置正确，shardingSphere就能够自动的帮我们做读写分离。 application.yml mybatis: configuration: log-impl: org.apache.ibatis.
shardingsphere+springboot+mybatis 分库分表
weixin_39966115的博客
04-29 876
一.前言 对于分库分表技术有很多，最近碰到一个需要对日志表按月切割，一个非常典型的横向切割数据库表的场景，在集成shardingsphere碰到了很多坑在此会说一下 官方文档地址 https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/configuration/ 二.maven依赖 关键依赖 <?xml version="1.0" encoding="UTF-8"?> <proje
spring-boot 整合 shardingsphere-jdbc、mybatis-plus 数据分片（文末有彩蛋）
qq_37220802的博客
04-02 2238
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。
使用Shardingsphere与mybatisPlus 在SpringBoot项目中实现读写分离
lovoo的博客
04-13 1892
前言： 当云产品使用的用户越来越多时，会面临页面加载缓慢甚至系统假死的问题，不断会有客户投拆，造成客户流失。但初创企业又没有资金去搞分布式，购买更多的服务器，而且数据优化已达极限，这时我们就得考虑读写分离，分库分表的策略，来减少对同一数据库的访问的压力。 1、首先要使用MySQL搭建主从数据库 参照本人博客 https://blog.csdn.net/lovoo/article/details/115447598?spm=1001.2014.3001.5501 2、创建项目，如图： 3、配置gradle，
ShardingSphere分库分表（SpringBoot+mybatis+mysql）配置
teamo_m的博客
03-18 5313
ShardingSphere定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能。
使用SpringBoot+ShardingJDBC+MyBatis做分库分表
08-05
我可以为你提供一些关于使用SpringBoot ShardingJDBC MyBatis进行分库分表的建议，例如：1. 使用ShardingSphere框架定义数据库分片策略；2. 使用MyBatis实现MyBatis SQL脚本；3. 使用SpringBoot注解的方式定义数据源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值