oracle分库分表原理_mycat原理,mycat分库分表的原理是什么?

Mycat中,分库分表是必须要掌握的功能,小伙伴们知道mycat中分库分表的原理是什么吗?下面就来看看吧。

Mycat是什么?

1)、一个彻底开源的,面向企业应用开发的大数据库集群

2)、支持事务、ACID、可以替代MySQL的加强版数据库

3)、一个可以视为mysql集群的企业级数据库,用来替代昂贵的Oracle集群

4)、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

5)、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

6)、一个新颖的数据库中间件产品

Mycat原理?

分区

分区就是把存放数据的文件分成许多小块,如mysql中的一张表对应三个文件.MYD,MYI,frm,它是对业务透明的。

根据一定的规则把数据文件(MYD)和索引文件(MYI)进行了分割,分区后的表呢,还是一张表。分区可以把表分到不同的硬盘上,但不能分配到不同服务器上。

优点:数据不存在多个副本,不必进行数据复制,性能更高。

缺点:分区策略必须经过充分考虑,避免多个分区之间的数据存在关联关系,每个分区都是单点,如果某个分区宕机,就会影响到系统的使用。

分片

在物理实现上分成多个服务器,不同的分片在不同服务器上,对业务透明。

分表

同库分表:所有的分表都集中在一个数据库中,由于数据库中表名不能重复,因此需要把数据表名起成不同的名字。

优点:由于都在一个数据库中,公共表,不必进行复制,处理更简单。

缺点:由于还在一个数据库中,CPU、内存、文件IO、网络IO等瓶颈还是无法解决,只能降低单表中的数据记录数。表名不一致,会导后续的处理复杂

不同库分表:由于分表在不同的数据库中,这个时候就可以使用同样的表名。

优点:CPU、内存、文件IO、网络IO等瓶颈可以得到有效解决,表名相同,处理起来相对简单。

缺点:公共表由于在所有的分表都要使用,因此要进行复制、同步。一些聚合的操作,join,group by,order等难以顺利进行。

分库

分表和分区都是基于同一个数据库中的数据分离技巧,都对数据库性能有的一定提升,但由于业务数据量的增加,原来所有的数据都是在一个数据库上的,网络IO及文件IO都集中在一个数据库上的,因此CPU、内存、文件IO、网络IO都可能会成为系统瓶颈。

当业务系统中数据容量接近或已经超过单台服务器的容量、QPS/TPS接近或超过单个数据库实例的处理极限时。往往是采用垂直和水平结合的数据拆分方法,把数据服务和数据存储分布到多台数据库服务器上。

分库只是一个通俗的说法,它的标准名称是数据分片,采用类似分布式数据库理论指导的方法实现,对应用程序达到数据服务的全透明和数据存储的全透明。

Mycat分库分表原理解析

在查询 select * from user_info

发送三个db请求

如果是查询素有的情况下(不带条件)

转换成为:

select * from db1.user_info

select * from db2.user_info

select * from db3.user_info

最后把结果集给mycat进行封装 然后返回给客户端

如果加个where id = 1 这样带条件的情况下 mycat会进行转换 1%3=1 在db2上!转换成 select * from

db2.user_info where id = 1 如果查询的是分片的话,效率很高。发送一条就搞定

如果不是分片字段的话 会发送三条哦!效率很低

比如 where name = ‘jack’ 会发送三条 根据条件去每个数据库里面进行查询 返回结果

tailf -200f mycat.log: 进行实时的查看

然后迅速的查询 一目了然

注意分页查询:

select * from user_info limit 0,2

到底是哪个数据分片的?

往三个库里面发三个select请求 获取三对 六条结果

随机抽取一对返回给客户端

如果加了排序的条件呢?

select * from user_info order by id limit 0,2 (相当于取出最大的两条数据)

先发送三个select 每个都是最大的两条 然后返回给mycat 进行综合评选拿出最大的俩 返回给客户端

如果是 select * from user_info limit 0,3

每次请求返回的都是在改变的 是随机的!

db1 取两条 db2 和 db3随机一条

以上就是关于mycat原理的所有内容了,相信你已经有所理解了,还想了解更多java项目中常见问题及答案的话,就请一直关注奇Q工具网吧。

推荐阅读;

<p><span style="color: #ff0041;"><strong>Re: Mycat 实现 MySQL分库分表、读写分离、主从切换 </strong></span></p> <p>=============================</p> <p><strong><span style="color: #2dc26b;"># MyCAT 作用能够代替昂贵oracleMySQL集群中间件。 </span></strong></p> <p>    1) 一个彻底开源面向企业应用开发“大数据库集群”</p> <p>    2) 支持事务、ACID、可以替代Mysql加强版数据库</p> <p>    3) 一个可以视为“MySQL”集群企业级数据库用来替代昂贵Oracle集群(核心价值观)</p> <p><span style="white-space: pre;"> </span>(即:可不用 Orcale数据库及RAC等以此代替)</p> <p>    4) 一个融合内存缓存技术、Nosql技术、HDFS大数据新型SQL Server</p> <p>    5) 结合传统数据库和新型分布式数据仓库新一代企业级数据库产品</p> <p>    6) 一个数据库中间件产品</p> <p> </p> <p><strong><span style="color: #2dc26b;"># MyCAT 目标:</span></strong></p> <p>    1) 低成本将现有单机数据库和应用平滑迁移到“云”端解决数据存储和业务规模迅速增长情况下数据瓶颈题。从这一点介绍上来看,能满足数据库数据大量存储,提高了查询性能。</p> <p>    2) MyCat在大数据方面运用不容小觑啊。</p> <p> </p> <p><span style="color: #2dc26b;"><strong># MyCAT 特性</strong></span></p> <p>    1) 支持 SQL 92标准</p> <p>    2) 支持Mysql集群可以作为Proxy使用</p> <p>    3) 支持JDBC连接ORACLE、DB2、SQL Server将其模拟为MySQL Server使用</p> <p>    4) 支持galera for mysql集群percona-cluster或者mariadb cluster</p> <p><span style="white-space: pre;"> </span>(提供高可用性数据分片集群)</p> <p>    5) 自动故障切换高可用性(failover & HA)</p> <p>    6) 支持读写分离支持Mysql双主多从以及一主多从模式</p> <p>    7) 支持全局表数据自动分片到多个节点用于高效表关联查询</p> <p>    8) 支持独有基于E/R 关系分片策略实现了高效表关联查询</p> <p>    9) 多平台支持部署和实施简单</p> <p> </p> <p><span style="color: #2dc26b;"><strong># MyCAT 架构</strong></span></p> <p>    用户可以把MyCAT看作一个数据库代理用mysql客户端工具(如Navicat)和命令访其核心功能就分库分表即将一个大表水平分割为N个小表真正存储在后端Mysql服务器中或其它数据库中。</p> <p><img src="https://img-bss.csdnimg.cn/202102220552224229.png" alt="" /></p> <p><img src="https://img-bss.csdnimg.cn/202102220552403072.png" alt="" /></p> <p> </p> <p><img src="https://img-bss.csdnimg.cn/202102220552542765.png" alt="" /></p> <p> </p> <p> </p> <p> </p> <p> </p> <p> </p>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:1024 设计师:我叫白小胖 返回首页
评论

打赏作者

weixin_39605840

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值