Sharding-Jdbc实现读写分离、分库分表，妙，Java笔试常见编程题

• redo log是循环写的，空间固定会用完；binlog是可以追加写入的，binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志

4）两阶段提交

create table T(ID int primary key, c int);

update T set c=c+1 where ID=2;

执行器和InnoDB引擎在执行这个update语句时的内部流程：

• 执行器先找到引擎取ID=2这一行。ID是主键，引擎直接用树搜索找到这一行。如果ID=2这一行所在的数据也本来就在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回

• 执行器拿到引擎给的行数据，把这个值加上1，得到新的一行数据，再调用引擎接口写入这行新数据

• 引擎将这行新数据更新到内存中，同时将这个更新操作记录到redo log里面，此时redo log处于prepare状态。然后告知执行器执行完成了，随时可以提交事务

• 执行器生成这个操作的binlog，并把binlog写入磁盘

• 执行器调用引擎的提交事务接口，引擎把刚刚写入的redo log改成提交状态，更新完成

update语句的执行流程图如下，图中浅色框表示在InnoDB内部执行的，深色框表示是在执行器中执行的

将redo log的写入拆成了两个步骤：prepare和commit，这就是两阶段提交

3）、MySQL主从复制原理

从库B和主库A之间维持了一个长连接。主库A内部有一个线程，专门用于服务从库B的这个长连接。一个事务日志同步的完整过程如下：

• 在从库B上通过change master命令，设置主库A的IP、端口、用户名、密码，以及要从哪个位置开始请求binlog，这个位置包含文件名和日志偏移量

• 在从库B上执行start slave命令，这时从库会启动两个线程，就是图中的I/O线程和SQL线程。其中I/O线程负责与主库建立连接

• 主库A校验完用户名、密码后，开始按照从库B传过来的位置，从本地读取binlog，发给B

• 从库B拿到binlog后，写到本地文件，称为中继日志

• SQL线程读取中继日志，解析出日志里的命令，并执行

由于多线程复制方案的引入，SQL线程演化成了多个线程

主从复制不是完全实时地进行同步，而是异步实时。这中间存在主从服务之间的执行延时，如果主服务器的压力很大，则可能导致主从服务器延时较大

3、Sharding-Jdbc实现读写分离

---

1）、新建Springboot工程，引入相关依赖

org.springframework.boot

spring-boot-starter-web

org.mybatis.spring.boot

mybatis-spring-boot-starter

2.1.4

mysql

mysql-connector-java

runtime

com.alibaba

druid-spring-boot-starter

1.1.21

org.apache.shardingsphere

sharding-jdbc-spring-boot-starter

4.0.0-RC1

org.projectlombok

lombok

true

org.springframework.boot

spring-boot-starter-test

test

2）、application.properties配置文件

spring.main.allow-bean-definition-overriding=true

#显示sql

spring.shardingsphere.props.sql.show=true

#配置数据源

spring.shardingsphere.datasource.names=ds1,ds2,ds3

#master-ds1数据库连接信息

spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource

spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver

spring.shardingsphere.datasource.ds1.url=jdbc:mysql://47.101.58.187:3306/sharding-jdbc-db?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai

spring.shardingsphere.datasource.ds1.username=root

spring.shardingsphere.datasource.ds1.password=123456

spring.shardingsphere.datasource.ds1.maxPoolSize=100

spring.shardingsphere.datasource.ds1.minPoolSize=5

#slave-ds2数据库连接信息

spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource

spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.cj.jdbc.Driver

spring.shardingsphere.datasource.ds2.url=jdbc:mysql://47.101.58.187:3307/sharding-jdbc-db?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai

spring.shardingsphere.datasource.ds2.username=root

spring.shardingsphere.datasource.ds2.password=123456

spring.shardingsphere.datasource.ds2.maxPoolSize=100

spring.shardingsphere.datasource.ds2.minPoolSize=5

#slave-ds3数据库连接信息

spring.shardingsphere.datasource.ds3.type=com.alibaba.druid.pool.DruidDataSource

spring.shardingsphere.datasource.ds3.driver-class-name=com.mysql.cj.jdbc.Driver

spring.shardingsphere.datasource.ds3.url=jdbc:mysql://47.101.58.187:3307/sharding-jdbc-db?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai

spring.shardingsphere.datasource.ds3.username=root

spring.shardingsphere.datasource.ds3.password=123456

spring.shardingsphere.datasource.ds.maxPoolSize=100

spring.shardingsphere.datasource.ds3.minPoolSize=5

#配置默认数据源ds1 默认数据源,主要用于写

spring.shardingsphere.sharding.default-data-source-name=ds1

#配置主从名称

spring.shardingsphere.masterslave.name=ms

#置主库master,负责数据的写入

spring.shardingsphere.masterslave.master-data-source-name=ds1

#配置从库slave节点

spring.shardingsphere.masterslave.slave-data-source-names=ds2,ds3

#配置slave节点的负载均衡均衡策略,采用轮询机制

spring.shardingsphere.masterslave.load-balance-algorithm-type=round_robin

#整合mybatis的配置

mybatis.type-aliases-package=com.ppdai.shardingjdbc.entity

3）、创建t_user表

CREATE TABLE t_user (

id int(11) NOT NULL AUTO_INCREMENT,

nickname varchar(100) DEFAULT NULL,

password varchar(100) DEFAULT NULL,

sex int(11) DEFAULT NULL,

birthday varchar(50) DEFAULT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4;

4）、定义Controller、Mapper、Entity

@Data

public class User {

private Integer id;

private String nickname;

private String password;

private Integer sex;

private String birthday;

}

@RestController

@RequestMapping(“/api/user”)

public class UserController {

@Autowired

private UserMapper userMapper;

@PostMapping(“/save”)

public String addUser() {

User user = new User();

user.setNickname(“zhangsan” + new Random().nextInt());

user.setPassword(“123456”);

user.setSex(1);

user.setBirthday(“1997-12-03”);

userMapper.addUser(user);

return “success”;

}

@GetMapping(“/findUsers”)

public List findUsers() {

return userMapper.findUsers();

}

}

public interface UserMapper {

@Insert(“insert into t_user(nickname,password,sex,birthday) values(#{nickname},#{password},#{sex},#{birthday})”)

void addUser(User user);

@Select(“select * from t_user”)

List findUsers();

}

5）、验证

启动日志中三个数据源初始化成功：

调用http://localhost:8080/api/user/save一直进入到ds1主节点

调用http://localhost:8080/api/user/findUsers一直进入到ds2、ds3节点，并且轮询进入

4、MySQL分库分表原理

---

1）、分库分表

水平拆分：同一个表的数据拆到不同的库不同的表中。可以根据时间、地区或某个业务键维度，也可以通过hash进行拆分，最后通过路由访问到具体的数据。拆分后的每个表结构保持一致

垂直拆分：就是把一个有很多字段的表给拆分成多个表，或者是多个库上去。每个库表的结构都不一样，每个库表都包含部分字段。一般来说，可以根据业务维度进行拆分，如订单表可以拆分为订单、订单支持、订单地址、订单商品、订单扩展等表；也可以，根据数据冷热程度拆分，20%的热点字段拆到一个表，80%的冷字段拆到另外一个表

2）、不停机分库分表数据迁移

一般数据库的拆分也是有一个过程的，一开始是单表，后面慢慢拆成多表。那么我们就看下如何平滑的从MySQL单表过度到MySQL的分库分表架构

• 利用MySQL+Canal做增量数据同步，利用分库分表中间件，将数据路由到对应的新表中

• 利用分库分表中间件，全量数据导入到对应的新表中

• 通过单表数据和分库分表数据两两比较，更新不匹配的数据到新表中

• 数据稳定后，将单表的配置切换到分库分表配置上

5、Sharding-Jdbc实现分库分表

---

1）、逻辑表

用户数据根据订单id%2拆分为2个表，分别是：t_order0和t_order1。他们的逻辑表名是：t_order

多数据源相同表：

#多数据源$->\mathrm{0..}N.逻辑表名$->{0…N} 相同表

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->\mathrm{0..1}.t_{o}rder$->{0…1}

多数据源不同表：

#多数据源$->\mathrm{0..}N.逻辑表名$->{0…N} 不同表

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds0.t_order$->\mathrm{0..1},ds1.t_{o}rder$->{2…4}

单库分表：

#单数据源的配置方式

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds0.t_order$->{0…4}

全部手动指定：

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds0.t_order0,ds1.t_order0,ds0.t_order1,ds1.t_order1

2）、inline分片策略

spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->\mathrm{0..1}.t_{o}rder$->{0…1}

#数据源分片策略

spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id

#数据源分片算法

spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{user_id%2}

#表分片策略

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id

#表分片算法

spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id%2}

上面的配置通过user_id%2来决定具体数据源，通过order_id%2来决定具体表

insert into t_order(user_id,order_id) values(2,3)，user_id%2 = 0使用数据源ds0，order_id%2 = 1使用t_order1，insert语句最终操作的是数据源ds0的t_order1表。

另外，欢迎关注公众号Java笔记虾，后台回复“后端面试”，送你一份面试题宝典！

3）、分布式主键配置

Sharding-Jdbc可以配置分布式主键生成策略。默认使用雪花算法（snowflake），生成64bit的长整型数据，也支持UUID的方式

#主键的列名

spring.shardingsphere.sharding.tables.t_order.key-generator.column=id

#主键生成策略

spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE

4）、inline分片策略实现分库分表

需求：

对1000w的用户数据进行分库分表，对用户表的数据进行分表和分库的操作。根据年龄奇数存储在t_user1，偶数t_user0，同时性别奇数存储在ds1，偶数ds0

表结构：

CREATE TABLE t_user0 (

id bigint(20) DEFAULT NULL,

nickname varchar(200) DEFAULT NULL,

password varchar(200) DEFAULT NULL,

age int(11) DEFAULT NULL,

sex int(11) DEFAULT NULL,

birthday varchar(100) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE t_user1 (

id bigint(20) DEFAULT NULL,

nickname varchar(200) DEFAULT NULL,

password varchar(200) DEFAULT NULL,

age int(11) DEFAULT NULL,

sex int(11) DEFAULT NULL,

birthday varchar(100) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V：vip1024b 备注Java获取（资料价值较高，非无偿）

最后

这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友，感兴趣的伙伴们可挑战一下自我，在不看答案解析的情况，测试测试自己的解题水平，这样也能达到事半功倍的效果！（好东西要大家一起看才香）

道该从何学起的朋友，同时减轻大家的负担。**
[外链图片转存中…(img-VatzBycm-1711578230843)]
[外链图片转存中…(img-cULSzk8w-1711578230844)]
[外链图片转存中…(img-SXLtoT8T-1711578230845)]
[外链图片转存中…(img-Fu3ixySD-1711578230845)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

[外链图片转存中…(img-mDUKG7MH-1711578230846)]
[外链图片转存中…(img-FhMDZW3V-1711578230847)]

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V：vip1024b 备注Java获取（资料价值较高，非无偿）
[外链图片转存中…(img-QcstblC8-1711578230847)]

最后

这份《“java高分面试指南”-25分类227页1000+题50w+字解析》同样可分享给有需要的朋友，感兴趣的伙伴们可挑战一下自我，在不看答案解析的情况，测试测试自己的解题水平，这样也能达到事半功倍的效果！（好东西要大家一起看才香）

[外链图片转存中…(img-amMNgpPI-1711578230847)]

[外链图片转存中…(img-6a62Dlld-1711578230848)]