分库分表带来的问题

目录

3、分库分表的问题

3.1 事务一致性问题

3.2 跨节点关联查询

3.3 跨节点分页、排序函数

3.4 主键避重

3.5 公共表问题


3、分库分表的问题

3.1 事务一致性问题

由于分库分表后把数据分布在不同库甚至不同的服务器,数据库原有的单库的数据库事务就会失效,不同的数据库实例完成同一个事物可能会失败从而带来分布式事务问题。

3.2 跨节点关联查询

在垂直分库后比如商品信息和店铺信息不在一个数据库甚至不在一个服务器这时就无法进行联表的查询。可以将原来的关联查询分为两次查询,第一次查询的结果集中找出关联数据id,然后根据id发起第二次请求得到关联数据,最后将获得到的数据进行拼装。

3.3 跨节点分页、排序函数

跨节点多库进行查询时,limit分页、order by排序问题就变得比较的复杂。需要先在不同的分片节点中将数据排序并返回,然后将不同分片返回的结果集数据进行汇总和再次排序。

3.4 主键避重

在分库分表的环境中,由于表中数据同时存在不同数据库中,主键值平时使用的主键自增长将会失去效果,某个数据库生成的ID无法保证全局唯一的主键。因此需要单独的设计全局的主键,以避免跨库主键重复问题。

3.5 公共表问题

公共表就是业务中经常用的一些存储公共属性的表,也就是我们常说的参数表、数据字典表,当我们进行分库分表后根据不同的业务拆分了不同的库表,但是公共属性因为数据量和变化都不是很大所以没必要进行再次的拆分。我们可以每个数据都保存一份这样的公共表的数据,对所有的公共表的更新等操作进行统一的同时的发送到所有的分库分片中进行修改。这样公共的表维护起来都是比较麻烦的。由于分库分表之后,数据被分散在了不同的数据库或者不同的服务器中,因此对数据的操作也无法通过常规的方式来完成,并且他还带来了一系列的问题。为了解决这些问题,所以我们会引入一些市面上常用的中间件来解决这些问题,比如shareing-jdbc。

欢迎关注我的微信公众号,更多内容将在微信公众号中发布:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
课程简介 随着互联网的发展,软件的规模在逐渐变大,用关系型数据库如何存储和处理大规模的业务数据成为企业面临的挑战, 关系型数据库作为OLTP(联机事务处理过程)系统的首选毋庸置疑,但是关系型数据面对大规模数据的处理有其先天的不足,比如单存储上千万数据时便会出现不同程度的处理速度缓慢问题,如何解决?分库技术就是为了解决由于数据量过大而导致数据库性能降低的问题,将原来独立的数据库拆分成若干数据库组成 ,将数据大拆分成若干数据组成,使得单一数据库、单一数据的数据量变小,从而达到提升数据库性能的目的。本课程将系统的讲解分库技术。 课程价值 分库技术是为解决关系型数据库存储和处理大规模数据的问题,主要应用于OLTP系统,它与应用于OLAP(联机分析处理)的大数据技术有不同的应用场景,本课程本着从解决生产实际问题出发,讲授分库技术的解决方案,包括:垂直分库、垂直分、水平分库、水平分、读写分离,涵盖了分库的各种方案,并且深入讲解Sharding-JDBC框架的原理及使用方法,通过学习本课程可以快速应用到生产实践中。 课程优势 本课程不仅讲解多种有效的分库的解决方案,还深入讲解了Sharding-JDBC框架的原理和使用方法,Sharding-JDBC是一套轻量级的对代码零侵入的框架,在生产中有广泛的使用。本课程从思想原理、技术框架、案例实操三个方面去学习,可以快速的将分库技术应用到生产实践中,解决大数据存储与处理的问题

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值