二.基于Mysql + Sharding-jdbc +SpringBoot + mybatis配置主从同步,读写分离,分库分表

最新推荐文章于 2024-05-21 08:17:41 发布

Jwutogo

最新推荐文章于 2024-05-21 08:17:41 发布

阅读量601

点赞数 1

分类专栏：笔记 Mysql数据库优化

本文链接：https://blog.csdn.net/weixin_45584768/article/details/113352199

版权

Mysql数据库优化同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

笔记

1 篇文章 0 订阅

订阅专栏

基于上一篇文章 Mysql + Sharding-jdbc +SpringBoot + mybatis配置读写分离,分库分表

1.简介
sharding-jdbc 是一个开源的适用于微服务的分布式数据访问基础类库，它始终以云原生的基础开发套件为目标。只支持java语言
sharding-jdbc定位为轻量级java框架,使用客户端直连数据库,以jar包的形式提供服务,未使用中间层,无需额外部署,并无其他依赖,可以理解为增强版的JDBC驱动
sharding-jdbc完整的实现了分库分表/读写分离/分布式主键功能,并实现了柔性事务.

2.适用于
适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。
2.sharding-jdbc都有哪些包
①　sharding-jdbc-config-parent 配置相关源码
②　sharding-jdbc-core 核心源码
③　sharding-jdbc-doc 文档
④　sharding-jdbc-example：针对各个模块的测试用例代码；
⑤　sharding-jdbc-plugin：目前只有KeyGenerator的三种实现；
⑥　sharding-jdbc-transaction-parent：事务相关源码；
想要更深入了解的，这里献上Apache ShardingSphere官方文档.
3.sharding-jdbc架构图
在这里插入图片描述

二.Mysql + Sharding-jdbc +SpringBoot + mybatis配置读写分离

在这里插入图片描述

1.首先创建一个springBoot的项目，项目结构为

在这里插入图片描述 2.pom文件配置

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.4</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>commons-dbcp</groupId>
            <artifactId>commons-dbcp</artifactId>
            <version>1.4</version>
        </dependency>
        <!-- sharding-jdbc -->
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>3.0.0.M1</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

3.基础类 (直接拷贝粘贴到idea就可)
建表语句

DROP TABLE IF EXISTS `user_test`;
CREATE TABLE `user_test`  (
  `id` bigint(255) NOT NULL AUTO_INCREMENT,
  `name` varchar(30) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `password` varchar(30) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 9 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

实体类

package cn.jiawu.shardingdemo.domain;

import lombok.Data;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:14
 */
@Data
public class UserTest {
    private Integer id;
    private String name;
    private String password;

}

controller

package cn.jiawu.shardingdemo.controller;

import cn.jiawu.shardingdemo.domain.UserTest;
import cn.jiawu.shardingdemo.service.UserTestService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;


import java.util.List;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:16
 */
@RestController
@RequestMapping("/user")
public class UserTestController {

    @Autowired
    UserTestService userTestService;
    @PostMapping("/add")
    public String addUser(UserTest userTest){
        userTestService.addUser(userTest);
        return "插入成功";

    }
    @GetMapping("/queryAll")
    public List<UserTest> queryAll(){
        List<UserTest> user  = userTestService.queryAll();
        return user;

    }
}

service

package cn.jiawu.shardingdemo.service;

import cn.jiawu.shardingdemo.domain.UserTest;

import java.util.List;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:22
 */
public interface UserTestService {

    /**
     * 插入插入
     * @param userTest
     */
    void addUser(UserTest userTest);


    /**
     * 查询查询
     * @return
     */
    List<UserTest> queryAll();
 }

package cn.jiawu.shardingdemo.service.impl;

import cn.jiawu.shardingdemo.domain.UserTest;
import cn.jiawu.shardingdemo.mapper.UserTestMapper;
import cn.jiawu.shardingdemo.service.UserTestService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.List;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:27
 */
@Service
public class UserTestServiceImpl implements UserTestService {
    @Autowired
    UserTestMapper mapper;

    @Override
    public void addUser(UserTest userTest) {
        mapper.addUser(userTest);
    }

    @Override
    public List<UserTest> queryAll() {
        List<UserTest> user = mapper.queryAll();
        return user;
    }
 }

mapper

package cn.jiawu.shardingdemo.mapper;

import cn.jiawu.shardingdemo.domain.UserTest;
import org.apache.ibatis.annotations.Insert;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Select;

import java.util.List;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:27
 */
@Mapper
public interface UserTestMapper {
    /**
     * 插入插入
     * @param userTest
     */
    @Insert("insert into user_test(name,password) values(#{name},#{password})")
    void addUser(UserTest userTest);


    /**
     * 查询查询
     * @return
     */
    @Select("select * from user_test")
    List<UserTest> queryAll();
    }

3.applocation.properties配置文件配置

#主从库的编号（别名）
sharding.jdbc.datasource.names=ds0,ds1,ds2

sharding.jdbc.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource
sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds0.url=jdbc:mysql://127.0.0.1:3309/lbj?serverTimezone=UTC&&characterEncoding=utf-8
sharding.jdbc.datasource.ds0.username=root
sharding.jdbc.datasource.ds0.password=passwd

sharding.jdbc.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource
sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds1.url=jdbc:mysql://127.0.0.1:3308/lbj?serverTimezone=UTC&&characterEncoding=utf-8
sharding.jdbc.datasource.ds1.username=root
sharding.jdbc.datasource.ds1.password=passwd


#配置主从策略
#负载均衡策略  随机和轮询 random /round_robin
sharding.jdbc.config.masterslave.load-balance-algorithm-type=round_robin
sharding.jdbc.config.masterslave.name=db1s1
sharding.jdbc.config.masterslave.master-data-source-name=ds0
# sharding.jdbc.config.masterslave.slave-data-source-names=ds1,ds2...可以有多个从库配置
sharding.jdbc.config.masterslave.slave-data-source-names=ds1


# 开启SQL显示，默认值: false，注意：仅配置读写分离时不会打印日志！！
sharding.jdbc.config.sharding.props.show=true

配置完毕即可启动项目利用PostMan请求本地接口地址
4.先分别打开上篇文章我们配置好的master和salve数据库服务日志文件
在这里插入图片描述 slave服务器同上
（1）利用postman请求insert方法，
执行方法后观察master.log和slave.log文件变化
master.log 是写库调用写入方法日志打印为下
slave.log 的操作记录为主从同步后的插入所以是成功的哈
（2）利用postman请求调用select方法，先清空日志文件然后保存
在这里插入图片描述执行方法后观察master.log和slave.log文件变化
master.log 是写库按照道理来说是不会有查询记录的查看后确实没有

slave.log 为从库日志主查询查看后确实有一条查询记录那么读写分离就简单的实现了

三.Mysql + Sharding-jdbc +SpringBoot + mybatis配置分库分表

1.在读写分离的项目上添加mybatis文件夹用于装xml 新建一个applocation-xx.properties配置文件
基础类 (直接拷贝粘贴到idea就可)准备
在这里插入图片描述我们这里用的是一个服务器链接就在master服务新建两个数据库 shardtest1和shardtest2表结构完全相同

建表语句

CREATE TABLE `t_order_0`  (
  `order_id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) NULL DEFAULT NULL,
  `status` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
CREATE TABLE `t_order_1`  (
  `order_id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) NULL DEFAULT NULL,
  `status` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`order_id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

实体类

package cn.jiawu.shardingdemo.domain;

import lombok.Data;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:14
 */
@Data
public class Order {

    private long orderId;

    private int userId;

    private String status;

}

controller

package cn.jiawu.shardingdemo.controller;

import cn.jiawu.shardingdemo.domain.Order;
import cn.jiawu.shardingdemo.service.OrderService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
/**
 * @Author: Wu
 * @Date: 2021/1/26 10:14
 */
@RestController
@RequestMapping("/order")
public class OrderController {
    @Autowired
    OrderService service;
    @PostMapping("/test")
    public String test(Order order) {
         service.demo(order);
        return "测试成功";
    }
}

service

package cn.jiawu.shardingdemo.service;

import cn.jiawu.shardingdemo.domain.Order;
import cn.jiawu.shardingdemo.mapper.OrderMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:14
 */
@Service
public class OrderService {
    @Autowired
    private OrderMapper orderRepository;
    public void demo(Order order) {
        orderRepository.insert(order);
        System.out.println("插入成功");
    }
}

mapper

package cn.jiawu.shardingdemo.mapper;

import cn.jiawu.shardingdemo.domain.Order;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;

/**
 * @Author: Wu
 * @Date: 2021/1/26 10:14
 */
@Mapper
public interface OrderMapper {

    /**
     * 插入
     * @param order
     * @return
     */
    void insert(@Param("order") Order order);

}

xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="cn.jiawu.shardingdemo.mapper.OrderMapper">
    <insert id="insert">
     insert into t_order(order_id,user_id,status)
     values(#{order.orderId},#{order.userId},#{order.status})
    </insert>
</mapper>

3.applocation-xx.properties分裤分表

mybatis.type-aliases-package=cn.jiawu.shardingdemo.mapper
mybatis.mapper-locations=classpath*:mybatis/*.xml
mybatis.configuration.cache-enabled=false
#需要用那个配置文件就写哪个比如 xx
spring.profiles.active=xx

#datasource
spring.devtools.remote.restart.enabled=false

sharding.jdbc.datasource.names=ds0,ds1

sharding.jdbc.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource
sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds0.url=jdbc:mysql://127.0.0.1:3309/shardtest1?serverTimezone=UTC&&characterEncoding=utf-8
sharding.jdbc.datasource.ds0.username=root
sharding.jdbc.datasource.ds0.password=passwd

sharding.jdbc.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource
sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds1.url=jdbc:mysql://127.0.0.1:3309/shardtest2?serverTimezone=UTC&&characterEncoding=utf-8
sharding.jdbc.datasource.ds1.username=root
sharding.jdbc.datasource.ds1.password=passwd

#分库策略 根据user_id
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=user_id
#对user_id取模 确定数据所在数据库 偶数id在shardtest1 奇数id在shardtest2
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->{user_id % 2}

##分表策略 根据插入数据的组件来确定  奇数的逐渐在t_order_1 偶数t_order_0
sharding.jdbc.config.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order_$->{0..1}
sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
##对订单号进行hash运算  确定数据所在表名
sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_$->{order_id % 2}
sharding.jdbc.config.sharding.tables.t_order.key-generator-column-name=order_id

测试我们还是利用postman插入数据

user_id如果为奇数就会在shardtest2库中去存，偶数id在shardtest1
order_id奇数的在t_order_1表中存偶数在t_order_0表中存

各自组合先分裤再分表运行起来自己观察一下规律吧！！！
在这里插入图片描述
次文只是粗略的搭建基于sharding-jdbc实现读写分离分库分表，认知有限，不对之处请各位前辈指点。同时借此博文分享我的学习心得，抛砖引玉。

Jwutogo

关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
二.基于Mysql + Sharding-jdbc +SpringBoot + mybatis配置主从同步,读写分离,分库分表

基于上一篇文章 Mysql + Sharding-jdbc +SpringBoot + mybatis配置读写分离,分库分表目录一.sharding-jdbc（读写分离分表分库）二.Mysql + Sharding-jdbc +SpringBoot + mybatis配置读写分离三.Mysql + Sharding-jdbc +SpringBoot + mybatis配置分库分表目录一.sharding-jdbc（读写分离分表分库）1.简介sharding-jdbc 是一个开源的适用于微服
复制链接

扫一扫