mysql主从&shardingsphere分库分表

已于 2023-10-11 20:25:56 修改
阅读量823 收藏
点赞数
分类专栏： mysql 文章标签： 数据库 mysql java
于 2022-11-09 13:13:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46598535/article/details/127767698
版权

问题：

1. 公司的mysql主从复制方式怎么查看——这个命令在哪敲

2.公司扩容一个从的时候怎么做的？——

3.公司主从架构模式是什么样的？几主几从

4.公司的业务场景有木有要求写后立马查出数据的

mysql主从架构

mysql主从架构详解

mysql读写分离

mysql主从集群扩容&半同步复制

mysql主从架构的问题

1.mysql同步方式以及半同步复制问题

Q1:半同步复制能保证一定不丢数据吗？

A：不能，因为半同步复制是至少一个slave同步到了，才响应客户端，因此可能slave挂了，但这种可能性很小，且无法避免，所以不考虑

Q2:半同步复制的影响：

A：半同步复制要等slave响应，所以写数据的时候性能会有影响，效率会低一点

主从延迟问题

在高并发场景下，从库的数据一定会比主库慢一些，是有延时的。所以经常出现，刚写入主库的数据可能是读不到的，要过几十毫秒，甚至几百毫秒才能读取到。

压力测试 :

写请求1000/s-2000/s 大概有10 - 30ms左右的延迟。

写请求4000/s - 5000/s 大概有1 - 3秒左右的延迟。

如果主从延迟较为严重，有以下解决方案：

分库，将一个主库拆分为多个主库，每个主库的写并发就减少了几倍，此时主从延迟可以忽略不计。 (即减少binlog同步日志)

打开 MySQL 支持的并行复制，多个库并行复制。如果说某个库的写入并发就是特别高，单库写并发达到了 2000/s，并行复制还是没意义。

重写代码。插入数据时立马查询可能查不到。比如尽量避免插入后就马上读。

如果 强行要求 ：必须插入后，立马要求就能查询到 ，有以下解决方案：

通过数据库中间件，设置读写直连主库。不推荐这种方法，这么搞导致读写分离的意义就丧失了。

如果基于有这样的业务要求。不要试图在数据库层解决并发的读操作问题，至少不要在主从架构的数据库层解决。要在数据库层之上架构一个redis这样的分布式缓存来解决，它是专门干这个的。其性能肯定远高于从备机读取数据。

 2.1主从延时问题的原因以及解决办法part1

2.2主从延时问题的解决办法part2

2.3主从延迟原因

2.4主从延迟数据不一致解决方法

主从延迟的解决方案
 

shardingsphere分库分表

数据库分库分表思路

MySQL数据库之分库分表方案（只看这一个就够了）

多对多业务，数据库水平切分架构一次搞定

分库分表实战--- ShardingSphere实战

一般来说，在系统设计阶段就应该根据业务耦合松紧来确定垂直分库，垂直分表方案，在数据量及访问压力不是特别大的情况，首先考虑缓存、读写分离、索引技术等方案。若数据量极大，且持续增长，再考虑水平分库分表方案。

MySQL-如何分库分表？一看就懂

shardingsphere分片策略

ShardingSphere-JDBC 的4种分片策略

hint：代码写死指定sql访问哪个库表

inline：yml配置 表达式——数据分布均匀，但是扩展难

standard：类定义，自己写实现——可以让数据范围分布，扩展容易（如生成含有年份的id，去处年份部分来分布） & 逻辑再加一层id按照表达式的逻辑 分布 ，就能实现：扩展容易 & 分布均匀

complex：多个字段分库表

shardingsphere主键生成策略（spi可以自定义）

ShardingSphere-JDBC 的3种主键生成策略

主键：uuid、雪花、自定义spi、none（业务构造id，然后setid进去）

ShardingSphere的扩展点

分库分表带来的问题

很多SQL不支持、数据迁移、扩缩容、公共表、读写分离、配置往注册中心集中配置

分布式事务处理

shardingsphere源码

shardingsphere优化

内存限制模式（maxconnectionperquery大，每个连接都持有数据，一条条放到内存中，流失归并，用完一个结果，释放一个内存）：OLAP，适用于实时分析，报表，吞吐量大——流失结果集
连接限制模式（所有结果都先放到内存中）：效率高，试用于大事务——产生内存结果集（可能内存溢出）

区—ShardingSphere之分组group by过多消耗内存的问题

ShardingSphere官网操作指南补充和重点整理-数据分片-内核剖析（五）

maxconnectionperquery & 内存限制模式 & 归并模式——待解决

7. sharding-jdbc源码之group by结果合并(2)

数据库动态扩容缩容

考虑的问题:

2、两个库，四个表。要如何将数据分配均匀?

3、如何定制适合业务场景的数据分片策略?

Q：有哪些常用的数据分片策略?

取模分片、按时间范围分片、按业务要素 (如地区、前缀等)分片。。。。

取模分片：能够将数据分配得尽量的平均，但是不利于扩展。

范围分片：便于扩展但是他的数据分布又不够均匀。

A：是不是可以定制一种分片策略，将这两种分片策略结合起来?比如大 尺度上按范围分片，但是在每个数据范围内，使用取模分片。这种分片 策略要如何在ShardingSphere中实现?

2、旧数据处理方式

如果要在中途进行分库分表，要分为两个步骤:

1. 首先:要评估数据分片方案，对关键的SQL进行整理并分析。分库分表后，有很 多SQL是无法支持的，这些SQL一定要优先从业务中去掉。这个步骤很容易被忽略， 但是一定是必不可少的。有哪些SQL是ShardingSphere不支持的? 参见官网。

2. 然后:当你制定好了分库分表方案后，不要急于迁移旧数据。最好是在业务中对 SQL进行数据双写。即老数据库写一份，新的分片后的数据库也写一份。观察一段 时间，等业务稳定了之后，再考虑全部转移到分片后的新数据库中。这同样需要多 方定制ShardingSphere的分片策略，简单的inline是很难达到这个目的的。

3. 接下来:进行旧数据迁移时，可以采用ShardingProxy来协助进行数据转移。部 署同样分片策略的ShardingProxy，一方面可以在MySQL的客户端工具中快速验证 分片策略，另外可以使用sqoop、keetle等工具来协助进行数据转移。

分库分表带来的问题 定制主键生成策略

主键是分库分表中非常重要的业务要素，通常分库分表都会采用主键来作为分片 键，这个时候主键就不再只是用来提升查询效率了，还需要坚固数据分片的效率。 要如何定制高效的主键生成策略?

很多SQL不支持

例如MySQL里会配for each标签来执行批量SQL，原始数据库是支持的，但是分 库分表不支持。

查询的SQL比较多时，路由策略是否支持? 去官网上查一下分库分表的不支持项。

其他问题

数据迁移、扩缩容、公共表、读写分离、配置往注册中心集中配置

分布式事务处理

m0_46598535
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql主从架构及分库分表详解1
08-03
1.如果主服务器出现问题，可以快速切换到从服务器提供的服务 2.可以在从服务器上执行查询操作，降低主服务器的访问压力 3.可以在从服务器上执行备份，以避免备份期
个人面试总结
Mars_15的博客
03-13 1277
一、JVM 1、内存溢出和内存泄露 定义： 内存泄漏memory leak ：是指程序在申请内存后，无法释放已申请的内存空间，一次内存泄漏似乎不会有大的影响，但内存泄漏堆积后的后果就是内存溢出。 内存溢出 out of memory ：指程序申请内存时，没有足够的内存供申请者使用，或者说，给了你一块存储int类型数据的存储空间，但是你却存储long类型的数据，那么结果就是内存不够用，此时就会报错OOM,即所谓的内存溢出。 关系： 内存泄露 → 剩余内存不足 → 后续申请不到足够内存 →内存溢出。 内存泄露产
JAVA技术体系之分布式篇（八）——ShardingSphere-jdbc分库分表
qsmiley10的博客
05-25 1837
0、写在前面   当笔者试图收集ShardingSphere-jdbc相关信息时，发现ShardingSphere官网做了非常完善的内容总结，并且通俗易懂，符合国人阅读习惯。基于此，本文大多数摘录自ShardingSphere官网，提炼出笔者认为较为重要的内容，有兴趣的同学可以前往官网获取更为完善的信息。   https://shardingsphere.apache.org/document/current/cn/overview/ 1、概述 1.1 背景   传统的将数据集中存储至单一数据节点的解决方案
java项目记一次内存溢出Java heap space
lris——jihua
04-19 5959
一、具体报错信息： Caused by: java.sql.SQLException: Java heap space at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97) at com.mysql.cj.jdbc.exceptions.SQ
ShardingSphere官网操作指南补充和重点整理-数据分片-内核剖析（五）
astra_zhao的专栏
09-12 1017
执行引擎 ShardingSphere采用一套自动化的执行引擎，负责将路由和改写完成之后的真实SQL安全且高效发送到底层数据源执行。 它不是简单地将SQL通过JDBC直接发送至数据源执行；也并非直接将执行请求放入线程池去并发执行。它更关注平衡数据源连接创建以及内存占用所产生的消耗，以及最大限度地合理利用并发等问题。 执行引擎的目标是自动化的平衡资源控制与执行效率。 连接模式 从资源控制的角度...
Mysql学习_ShardingSphere_分库分表
IT二叔的博客
09-17 1349
官网：https://shardingsphere.apache.org/index_zh.html文档：https://shardingsphere.apache.org/document/5.1.1/cn/overview/Apache ShardingSphere 由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。
Mysql的分库分表(基于shardingsphere)
cristianoxm的博客
08-09 550
公司最近在搞服务分离，数据切分方面的东西，因为单张包裹表的数据量实在是太大，并且还在以每天60W的量增长。 之前了解过数据库的分库分表，读过几篇博文，但就只知道个模糊概念， 而且现在回想起来什么都是模模糊糊的。 今天看了一下午的数据库分库分表，看了很多文章，现在做个总结，“摘抄”下来。（但更期待后期的实操） 会从以下几个方面说起：  第一部分：实际网站发展过程中面临的问题。  第二部分：有哪几种切分方式，垂直和水平的区别和适用面。 第三部分：目前市面有的一些开源产品，技术，它们的优缺点是
使用ShardingSphere实现MySQL分库分表
nana_wang123的博客
08-15 551
Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由JDBC、Proxy和Sidecar（规划中）这3款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。一套开源的分布式数据库中间件解决方案有3个产品：JDBC、Proxy、Sidecar。
sharding-sphere读写分离，主从配置，权重配置。
mapleqn的博客
08-25 988
sharding怎么配置读写分离，读写分离不生效怎么办？为什么4.1可以配置读写分离，不能配置权重。5.1版本读写分离不生效
ShardingSphere——水平分表与数据迁移
scalad
03-16 8993
分库分表相关概念以及利用shardingsphere相关的一些产品我们在线上如何对数据进行迁移
mysql主从架构及分库分表详解11
08-03
1.如果主服务器出现问题，可以快速切换到从服务器提供的服务 2.可以在从服务器上执行查询操作，降低主服务器的访问压力 3.可以在从服务器上执行备份，以避免备份期
php mysql分库分表实例
08-28
php分库分表
mysql高可用分库分表.pdf
02-24
mysql分库分表，详细介绍了垂直分表、水平分表、垂直分库、水平分库，包括它们的优缺点，解决的问题，有具体案例
基于Mycat实现Mysql读写分离以及分库分表.doc
09-22
内容详细，亲测可用，包含图文介绍
分表过多引起的问题/Apache ShardingSphere元数据加载慢
最新发布
瑶山的博客
01-25 1548
当max.connections.size.per.query小于真实sql数量时，走的是连接限制模式（通俗理解：因为连接不够用，需要把sql执行完后，将查询结果先放到内存，然后释放连接用于查询其他sql），反之走的是内存限制模式（连接足够用，每个sql占据一个连接，查询结果不需要一次性放到内存，而是分批次拉取数据，在内存中做归并聚合）。max.connections.size.per.query默认值是1，此时元数据加载是单线程串行加载。而配置大于1时，会根据该配置的值，采用多线程并行加载。
ShardingSphere分库分表1-mysql生产环境高可用实战
roykingw的专栏
01-12 1686
文章目录一、实验目的与环境二、基础环境介绍三、搭建主从集群1、理论基础2、同步的原理3、搭建主从集群3.1 配置master主服务器3.2 配置slave从服务3.3 主从集群测试3.4 集群搭建扩展：3.5、GTID同步集群4、集群扩容5、半同步复制1、理解半同步复制2、搭建半同步复制集群6、主从架构的数据延迟问题：四、MySQL的高可用方案--了解1、MMM2、MHA3、MGR五、分库分表1、分库分表有什么用2、分库分表的方式3、分库分表的缺点4、什么时候需要分库分表？5、常见的分库分表组件 一、实验目
ShardingSphere 读写分离主从同步 解决同步延时问题
LioSamson
05-31 655
ShardingSphere是一个开源的分布式数据库中间件，它提供了读写分离和主从同步两种解决同步延时问题的方式。读写分离是指将读操作和写操作分别路由到不同的数据库节点上，以提高系统的读取性能。ShardingSphere支持多种读写分离策略，包括基于权重的轮询策略、基于数据源分组的策略、基于SQL语句的策略等。主从同步是指将写操作同步到所有从节点上，以保证数据的一致性。ShardingSphere通过集成MySQL的主从复制功能来实现主从同步。
ShardingSphere分库分表核心原理精讲第六节 分布式主键和解析引擎
fegus的博客
05-24 1040
14 分布式主键：ShardingSphere 中有哪些分布式主键实现方式？ 本课时我将为你讲解 ShardingSphere 中的分布式主键实现方式。 在传统数据库软件开发过程中，主键自动生成技术是基本需求。各个数据库对该需求也提供了相应的支持，比如 MySQL 的自增键，Oracle 的自增序列等。而在分片场景下，问题就变得有点复杂，我们不能依靠单个实例上的自增键来实现不同数据节点之间的全局唯一主键，这时分布式主键的需求就应运而生。ShardingSphere 作为一款优秀的分库分表开源软件，同样提供
ShardingSphere系列一（MySQL主从架构及读写分离实战（搭建主从集群、MySQL高可用方案MHA、分库分表概念））
xingze的博客
05-08 1074
这个工具专门用于监控主库的状态，当发现master节点故障时，会提升其中拥有新数据的slave节点成为新的master节点，在此期间，MHA会通过其他从节点获取额外的信息来避免数据一致性方面的问题。整个服务的性能是会有所下降的。在基于GTID的复制中，首先从服务器会告诉主服务器已经在从服务器执行完了哪些事务的GTID值，然后主库会有把所有没有在从库上执行的事务，发送到从库上进行执行，并且使用GTID的复制可以保证同一个事务只在指定的从库上执行一次，这样可以避免由于偏移量的问题造成数据不一致。
shardingsphere 分库分表 demo 配置
04-02
以下是一个基本的 Shardingsphere 分库分表 demo 配置： 1. 引入依赖 首先需要在项目中引入 Shardingsphere 的相关依赖，具体版本号可根据需求自行选择。 ```xml <!-- ShardingSphere JDBC Core APIs --> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-core-jdbc</artifactId> <version>${sharding.version}</version> </dependency> <!-- ShardingSphere JDBC Spring Boot Starter --> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>${sharding.version}</version> </dependency> ``` 2. 配置数据源 在 application.yml 中配置数据源信息，包括主库和从库的信息。 ```yml spring: datasource: # 主库数据源 master: jdbc-url: jdbc:mysql://localhost:3306/master_db?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC username: root password: 123456 driver-class-name: com.mysql.jdbc.Driver # 从库数据源 slave1: jdbc-url: jdbc:mysql://localhost:3306/slave_db1?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC username: root password: 123456 driver-class-name: com.mysql.jdbc.Driver slave2: jdbc-url: jdbc:mysql://localhost:3306/slave_db2?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC username: root password: 123456 driver-class-name: com.mysql.jdbc.Driver ``` 3. 配置分库分表规则 在 application.yml 中配置分库分表规则，包括分库规则和分表规则。 ```yml sharding: # 分库规则 default-database-strategy: standard: sharding-column: user_id precise-algorithm-class-name: com.example.demo.algorithm.ModuloDatabaseShardingAlgorithm # 分表规则 tables: user: actual-data-nodes: master.user_${0..1} table-strategy: standard: sharding-column: id precise-algorithm-class-name: com.example.demo.algorithm.ModuloTableShardingAlgorithm ``` 其中，ModuloDatabaseShardingAlgorithm 和 ModuloTableShardingAlgorithm 是自定义的分库分表算法，这里只是简单示例。 4. 编写 DAO 层代码 在 DAO 层编写相应的代码，使用 ShardingSphere 提供的 API 完成数据库操作，例如： ```java @Repository public class UserDaoImpl implements UserDao { private final JdbcTemplate jdbcTemplate; @Autowired public UserDaoImpl(JdbcTemplate jdbcTemplate) { this.jdbcTemplate = jdbcTemplate; } @Override public User getById(Long id) { String sql = "SELECT * FROM user WHERE id = ?"; return jdbcTemplate.queryForObject(sql, new Object[]{id}, new BeanPropertyRowMapper<>(User.class)); } @Override public void save(User user) { String sql = "INSERT INTO user(id, user_id, name) VALUES (?, ?, ?)"; jdbcTemplate.update(sql, user.getId(), user.getUserId(), user.getName()); } } ``` 5. 测试分库分表效果 编写测试代码，测试分库分表的效果，例如： ```java @SpringBootTest class UserDaoImplTest { @Autowired private UserDao userDao; @Test void testSave() { User user = new User(); user.setId(1L); user.setUserId(1L); user.setName("张三"); userDao.save(user); } @Test void testGetById() { User user = userDao.getById(1L); System.out.println(user); } } ``` 至此，一个简单的 Shardingsphere 分库分表 demo 配置就完成了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值