分库分表记录

转载分库分表
1、垂直分库分表,按照业务拆分
分库:将相同业务的表放在一个库;
分表:将表字段按照业务拆分成多个表;
2、水平分库分表,按照一定规则拆分
分库分表:按照一定规则拆分,比如指定拆分键为id,取hash分为多张表

总结

垂直分表:可以把一个宽表的字段按访问频次、是否是大字段的原则拆分为多个表,这样既能使业务清晰,还能提升部分性能。拆分后,尽量从业务角度避免联查,否则性能方面将得不偿失。

垂直分库:可以把多个表按业务耦合松紧归类,分别存放在不同的库,这些库可以分布在不同服务器,从而使访问压力被多服务器负载,大大提升性能,同时能提高整体架构的业务清晰度,不同的业务库可根据自身情况定制优化方案。但是它需要解决跨库带来的所有复杂问题。

水平分库:可以把一个表的数据(按数据行)分到多个不同的库,每个库只有这个表的部分数据,这些库可以分布在不同服务器,从而使访问压力被多服务器负载,大大提升性能。它不仅需要解决跨库带来的所有复杂问题,还要解决数据路由的问题。

水平分表:可以把一个表的数据(按数据行)分到多个或同一个数据库的多张表中,每个表只有这个表的部分数据,这样做能小幅提升性能,它仅仅作为水平分库的一个补充优化。

一般来说,在系统设计阶段就应该根据业务耦合松紧来确定垂直分库,垂直分表方案,在数据量及访问压力不是特别大的情况,首先考虑缓存、读写分离、索引技术等方案。若数据量极大,且持续增长,再考虑水平分库水平分表方案。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Canal 是一个开源的数据库数据变更监听和追踪框架,可以捕获 MySQL、Oracle、PostgreSQL、SQL Server等数据库的增、删、改操作,并将这些操作记录下来。为了解决数据同步的问题,Canal 提供了分库分表同步的功能。 分库分表同步的核心思想是将源库中的数据按照一定规则分散到多个目标库中,以提高数据处理的效率和容错性。Canal 支持两种方式进行分库分表同步:基于实例级别的分库分表同步和基于表级别的分库分表同步。 基于实例级别的分库分表同步是将整个源库中的数据同步到多个目标库中。这种方式适用于源库中的表数量较少,数据量较小的情况。在这种情况下,Canal 可以将源库中的数据按照一定规则分散到多个目标库中,以提高数据处理的效率和容错性。 基于表级别的分库分表同步是将源库中的某些表的数据同步到多个目标库中。这种方式适用于源库中的表数量较多,数据量较大的情况。在这种情况下,Canal 可以根据表名、数据库名和表中的某些字段等规则,将源库中的数据按照一定的规则分散到多个目标库中。 无论是基于实例级别的分库分表同步还是基于表级别的分库分表同步,Canal 都提供了一系列的配置选项,可以满足不同的数据同步需求。同时,Canal 还提供了自定义处理器的功能,用户可以根据自己的需求,编写自己的数据处理逻辑,从而实现更灵活、更高效的数据同步方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值