MyCat概念基本介绍

大家好，我是二营长，日拱一卒无有尽,功不唐捐终入海。这里是Java学习小站，关注我，每天进步一点点！

---

MyCat基本介绍

什么是分布式系统

分布式系统是指其组件分布在网络上，组件之间通过传递消息进行通信和动作协调的系统。它的核心理念是让多台服务器协同工作，完成单台服务器无法处理的任务，尤其是高并发或者大数据量的任务。它的特点是：

透明性：分布式系统对于用户是透明的，一个分布式系统在用户面前的表现就像一个传统的单处理机分时系统，可用用户不必了解其内部结构就能使用;

扩展性：分布式系统的最大特点是可扩展性，它能够根据需求的增加而扩展，可以通过横向扩展使集群的整体性能得到线性提升，也可以通过纵向扩展单台服务器的性能使服务器集群的性能得到提升;

可靠性：分布式系统不允许单点失效的问题存在，它的基本思想是，如果一台机器坏了，则其他机器能够接替它进行工作，具有持续服务的特性;

高性能：高性能才是设计分布式系统的初衷。

缺点：

1. 在节点通信部分的开销比较大，线程安全问题也变得复杂，需要在保证数据完整性的同时兼顾性能

2. 过分依赖网络，网络信息的丢失和饱和将会抵消分布式系统的大部分优势

3. 有潜在的数据安全和网络安全等安全性问题

分布式数据库

为什么分布式数据库比分布式应用难多了？

因为数据一致性。（CAP原理)

分布式数据库实现的基本原理

分布式数据库因为其物理分布性，为了保证可靠性，需要存储多个副本，产生了数据复制的问题。所以分布式数据库的实现是非常复杂的。

为了保证性能，分布式数据必须易于扩展。分布式数据库应有4个优势：数据分片及复制管理、具有事务的可靠性存取、良好的性能、易于扩展。

1、分布式数据库的目录管理

分布式数据库的目录存放着系统元数据及数据库的元数据的全部信息，这些数据的存在是为了正确、有效地访问数据。数据的增删改查操作都需要用到目录，用户授权、安全管理及并发控制等也都需要用到目录，目录结构的合理性直接影响数据库的性能。目录一般包括各级的描述、访问方法的描述、关于数据库的统计数据和一致性信息等，系统根据这些信息将用户查询转换为物理数据库上的查询，选择一条最佳的存取路径进行事务管理及安全性、完整性检查等。

分布式数据库的目录课分为全局目录、分布式目录、全局与本地混合目录。

2、数据分片

当数据库过于庞大，尤其是写入过于频繁且很难由一台主机支撑时，我们还是会面临扩展瓶颈。我们将存放在同一个数据库实例中的数据分散存放到多个数据库实例上，进行多台设备存取以提高性能，在切分数据的同时可以提高系统整体的可用性。

数据分片是指将数据全局地划分为相关的逻辑片段，有水平切分、垂直切分、混合切分三种类型。

**水平切分：**按照某个字段的某种规则分散到多个节点库中，每个节点中包含一部分数据。可以将数据的水平切分简单理解为按照数据行进行切分，就是将表中的某些行却分到一个节点，将另外某些行切分到其他节点，从分布式的整体来看它们是一个整体的表

**垂直切分：**一个数据库由很多表构成，每个表对应不同的业务，垂直切分是指按照业务将表进行分类并分不到不同的节点上，垂直拆分简单明了，拆分规则明确，应用程序模块清晰、明确、容易整合，但是某个表的数据量达到一定程度后扩展起来比较困难。

**混合切分：**水平切分和垂直切分的结合

3、分布式查询处理

分布式查询处理的任务就是把一个分布式数据库上的高层次查询映射为在本地数据库上的操作，查询的解析必须拆分为代数查询的关系运算序列，将要查询的数据定位到各节点，使得查询在各节点进行，最后通过网络通信的操作汇聚查询结果。

4、分布式并发控制

并发控制是分布式事务管理的基本任务之一，其目的是保证分布式数据库中的多个事务并发高效、正确的执行。并发控制用来保证事务的可串行性，也就是说事务的并发执行等价于它们按某种次序的串行执行，从而为用户提供并发的透明性。进行并发控制的方法主要有三种：加锁并发控制、时间戳控制、乐观并发控制。加锁并发控制应用广泛，但是容易发生死锁；时间戳控制消除了死锁，一旦发生冲突变回重启而不是等待，需要有全局的统一时钟；乐观并发控制对于冲突较少的系统较为合适，对于冲突多的系统则效率低下。

OLTP和OLAP

海量数据的存储和访问成为系统涉及和使用的瓶颈，对于海量数据，按照使用场景，主分两种类型：联机事务处理（OLTP）和联级分析处理（OLAP）。

​ 两者之间的区别:

	OLTP	OLAP
系统功能	日常交易处理	统计、分析、报表
DB设计	面向实时交易类应用	面向统计分析类应用
数据处理	当前的，最新的细节的，	历史的、聚集的、多维的、集成的
实时性	实时读写要求高	实时要求读写低
事务	强一致性	弱事务
分析要求	低，简单	高，复杂

联级事务处理也称为面向事务的处理系统，其基本特征是原始数据可以立即传送到计算中心进行处理，在很短的时间内给出处理结果。

联级分析处理是指通过多维的方式对数据进行分析、查询和报表，可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。

关系型数据库和NoSQL

关系型数据库是建立在关系模型基础上的数据库。主流的是Oracle，db2,SqlServer,MySQL

NoSQL数据库，全称为Not Only SQL。可以在关系型和非关系型之间兼容，可以考虑更加合适的数据存储结构，更加具有灵活性。主要分为临时性键值存储（memcached，redis），永久性键值存储（redis），面向文档的数据库（mongoDB,CouchDB）,面向列的数据库（Cassandra，HBase），每种NoSQL都有其特有的使用场景及优点。

	关系型数据库	NoSQL数据库
特点	数据关系模型基于关系模型，结构化存储，完整性约束 基于二维表及其之间的联系，需要连接、并、交、差等操作 采用结构化的查询语言做数据读写 操作需要数据的一致性，需要事务甚至强一致性	非结构化的存储 基于多维关系模型 具有特色的使用场景
优点	保证数据的一致性 可以进行join等复杂查询 通用化，技术成熟	高并发、大数据下读写能力强 支持分布式，易于扩展，可伸缩 简单，弱结构化存储
缺点	数据读写必须经过sql解析，大量数据、高并发读写性能不足 对数据做读写，或修改数据结构时需要加锁，影响并发操作 无法适应非结构化存储 扩展困难 昂贵、复杂	join等复杂操作能力较弱 事务支持较弱 通用性差 无完整约束复杂业务场景支持较差

MyCat基本介绍

MyCat是什么？

官方网址：http://www.mycat.org.cn/

从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。

支持 MySQL、 SQL Server、Oracle、 DB2、 PostgreSQL 等主流数据库，也支持 MongoDB 这种新型 NoSQL 方式的存储，未来还会支持更多类型的存储。

不同的角色对MyCat的理解：

对于DBA而言，Mycat就是MySQL Server,而Mycat后面连接的MySQL Server,就好像是MySQL的存储引擎，如InnoDB,MyISAM等，因此，Mycat本身并不存储数据，数据是再后端的MySQL上存储的，因此数据可靠性以及事务都是MySQL保证的，简单说，Mycat就是MySQL最佳伴侣，它再一定程度上让MySQL拥有了能跟Oracle PK的能力。

对于软件工程师来说. Mycat就是一个近似等于MySQL的数据库服务器，你可以用连接MySQL的方式去连接Mycat，除了端口不同，默认的mycat端口是8066而不是mysql的3306，因此需要再连接字符串上增加端口信息，大多数情况下，可以用你熟悉的对象映射框架使用mycat，但建议对于分片表，尽量使用基础的SQL语句，因为这样能达到最佳性能，特别是几千万甚至几百亿条记录的情况下。

对于架构师来说.mycat是一个强大的数据库中间件，不仅仅可以用作读写分离、以及分库分表、容灾备份，而且可以用于多租户应用开发，云平台基础设施，让你的架构具备很强的适应性和灵活性，借助于即将发布的mycat只能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同的存储引擎上，而整个应用的代码一行也不用改变。

MyCat的原理

MyCat的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为了一个传说了。它几乎等同于MySQL Proxy。

MyCat的原理中最重要的一个动作是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发送后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

上述图片里，orders表被分为了三个分片datanode（简称dn），这三个分片是分布在两台MySQL Server上（Datahost），即datanode=database@datahost方式，因此你可以用一台到N台服务器来分片，分片规则为（sharding rule）典型的字符串枚举分片规则，一个规则的定义是分片字段（sharding column）+分片函数（rule function）,这里的分片字段为prov而分片函数为字符串枚举方式。

当mycat收到一个SQL时，会先解析这个SQL,查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字段的值，并分配分片函数，得到该SQL对应的分片列表，然后将SQL发往这些分片去执行，最后收集和处理所有分片返回的结果数据，并输出到客户端，以select * from orders where prov = ?语句为例，查到prov=wuhan,按照分片函数，wuhan返回dn1,于是sql就发给了mysql1，去取db1上的查询结果，并返回给用户。

如果上述sql改为select * from orders where prov in (wuhan,beijing),那么，sql就会发给MySQL1和MySQL2去执行，然后结果集合并后输出给用户。但通常业务中我们的SQL会有order by以及limit翻页语法，此时就设计到结果集在mycat端的二次处理，这部分代码也比较复杂，而最复杂的则属两个表的join，为此，mycat提出了创新性的ER分片，全局表，HBT（human brain tech）人工智能的catlet，以及结合storm/spark引擎等十八般武艺的解决办法，从而称为目前业界最强大的方案，这就是开源的力量。

应用场景

mycat发展到现在，使用的场景已经很丰富，而且不断有新用户给出新的创新性的方案，以下是典型的应用场景：

1、单纯的读写分离，此时配置最为简单，支持读写分离，主从切换

2、分库分表，对于超过1000万的表进行分片，最大支持1000亿的单表分片

3、多租户应用，每个应用一个库，但应用程序只连接mycat，从而不改造程序本身，实现多租户化

4、报表系统，借助mycat的分表能力，处理大规模报表的统计

5、整合多数据源

6、作为海量数据实时查询的一种简单有效方案，比如100亿条频繁查询的记录需要在3秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时mycat可能是最简单有效的选择

7、数据库路由器，mycat基于mysql实例的连接池复用机制，可以让每一个应用最大程度地共享一个mysql实例地所有连接池，让数据库地并发访问能力大大提升

为什么使用MyCat

1. java与数据库紧耦合。解耦

2. 高访问量高并发对数据库的压力。负载均衡

3. 读写请求数据不一致。读写分离，主从复制

MyCat核心概念

mycat是数据库中间件，就是介于数据库与应用之间，进行数据处理和交互的中间服务。从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。

如上图所示，数据被分到多个分片数据库之后，应用如果需要读取数据，就要处理多个数据源的数据。如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会话大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的重复造轮子。

逻辑库

对于客户端而言，不需要知道中间件的存在。开发人员只需要知道数据库的概念即可，所以可以将数据库中间件当作是一个所有数据库集群的组成的一个逻辑数据库，不关心背后数据库集群的复杂性。

如今云计算时代，数据库中间件可以以多租户的形式给一个或多个应用提供服务。每个应用访问的数据都是互相隔离的，但是却共享了同一个物理库。常见如云数据服务器。

逻辑表

逻辑表，在分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表可以使数据切分后，分步在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

分片表

分片表，是指哪些原有的很大数据的表，需要切分到多个数据库的表，这样每一个分片都会有一部分数据，所有分片构成了完整的数据。

非分片表

一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

ER表

关系型数据库是基于实体关系模型之上，通过其描述了真实世界中事物与关系，mycat中的ER表既是来源于此。

基于ER关系的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上，即子类依赖于父类，通过表分组保证数据join不会跨库操作(尽量避免出现跨库join)。这也是数据切分规划的重要规则之一。

全局表

一个真实的业务系统中，往往存在大量的类似字典表的表，这些表基本上很少变动，字典表具有以下几个特点：

1、变动不频繁

2、数据量总体变化不大

3、数据规模不大，很少有超过数十万条记录

对于这类的表，在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，所以mycat中通过数据冗余来解决这类表的join，即所有的分片都有一份数据的拷贝，所有将字典表或者符合字典表特性的一些表定义为全局表。

数据冗余(反范式设计)是解决跨分片数据join的一种很好思路，也是数据切分规划的另外一条重要原则。

分片节点（dataNode）

数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）

节点主机（dataHost）

数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。

分片规则

数据切分是指一个大表被分成若干个分片表，就需要一定的规则，这样按照某种规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

全局序列号

数据切分后，原有的关系数据库中的主键约束在分布式条件下将无法使用，因此需要引入外部机制保证数据唯一性标识，这种保证全局性的数据唯一标识的机制就是全局序列号。

多租户

多租户技术或称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且扔可确保各用户间数据的隔离性。在云计算时代，多租户技术在共用的数据中心以单一系统架构与服务提供多数客户端相同甚至可定制化的服务，并且仍然可以保障客户的数据隔离。目前各种各样的云计算服务就是这类技术范畴，例如阿里云数据库服务（RDS），阿里云服务器等等。

多租户在数据存储上存在三种主要的方案，分别是：

1. 独立数据库

一个租户一个数据库，这种方案的用户数据隔离级别最高，安全性最好，但成本也高。

优点：为不同的租户提供独立的数据库，有助于简化数据模型的扩展设计，满足不同租户的独特需求，如果出现故障，恢复数据比较简单。

缺点：增大了数据库的安装数量，随之带来维护成本和购置成本的增加

2. 共享数据库，隔离数据架构 多个或者所有租户共享database，但是每一个租户一个schema

优点：为安全性要求较高的租户提供了一定程度的逻辑数据隔离，并不是完全隔离；每个数据库可以支持更多的租户数量

缺点：如果出现故障，数据恢复比较困难，因此恢复数据库将牵扯到其他租户的数据，如果需要跨租户统计数据，存在一定困难

3. 共享数据库，共享数据架构

租户共享同一个database，同一个schema，但在表中通过tenantID区分租户的数据。这是共享程度最高、隔离级别最低的模式

优点：维护和购置成本最低，运行每个数据库支持的租户数量最多

缺点：隔离级别最低，安全性最低，需要在设计开发时加大对安全的开发量，数据备份和恢复最困难，需要逐表逐条备份和还原。

使用

使用的时候记住三个关键的配置文件：

开始使用的时候，去官网查看配置资料进行配置。 server.xml

schema.xml

rule.xml

麻烦的是各种各样的配置。

---

时间总是过去了，才恍然过得飞快。日拱一卒无有尽,功不唐捐终入海。这里是Java学习小站，关注我，每天进步一点点！

本文由 mdnice 多平台发布