Mycat学习笔记一（引言）

Mycat学习笔记一（引言）

前言

随着网络的普及，互联网技术的发展以及网络设备和传输介质等硬件的更新换代，使得互联网用户迅速增长，网速大大提高，由此产生了海量的应用数据，很多互联网业务，随着数据量的逐步增加，数据库逐渐成为系统的瓶颈，数据库切分技术和分布式数据库由此诞生。结合系统业务数据库的切分，分布式数据库中间件可以通过把多台单机数据库组合成一个统一的整体,从而实现了数据的分布式存储,分布式访问,成为了解决海量数据访问和存储问题的理想方案。目前国内比较成熟的开源分布式数据库中间件有sharding-jdbc、mycat，前沿的有开源分布式 NewSQL数据库TiDB等。

1. 数据库切分

1.1 何谓数据库切分

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。

1.2 数据库切分方式

数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

1.2.1 垂直切分

垂直切分的最大特点就是规则简单，实施也更为方便，尤其适合各业务之间的耦合度非常低，相互影响很小，业务逻辑非常清晰的系统。在这种系统中，可以很容易做到将不同业务模块所使用的表分拆到不同的数据库中。根据不同的表来进行拆分，对应用程序的影响也更小，拆分规则也会比较简单清晰。

1.2.2 水平切分

水平切分于垂直切分相比，相对来说稍微复杂一些。因为要将同一个表中的不同数据拆分到不同的数据库中，对于应用程序来说，拆分规则本身就较根据表名来拆分更为复杂，后期的数据维护也会更为复杂一些。简单来说，我们可以将水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中。

1.3 数据库切分原则

上图是数据库切分的进阶过程示意图。业务初期，客户量比较少，可能在一个实例上把所有的服务、数据都能存放下来并且支持业务的发展。当客户量和数据量变大时，数据库很容易成为一个瓶颈，怎么去做改造？建议先做服务化的改造，不同的业务模块做一个垂直的梳理，不同服务的数据库相互隔离，中间的交互由业务去实现，这样数据库就可以分布在不同的实例上，并且可以支持相对较高的并发和容量。再往上发展时，单实例依然是一个瓶颈，此时要考虑做一个水平的拆分，把一个服务的数据分布在不同的实例上。

所以，拆分需要循序渐进，先垂直后水平，防止过度设计，紧密结合业务及应用架构设计。

2. 什么是Mycat

2.1 Mycat简介

Mycat是一个完全开源的，面向企业应用开发的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有存储引擎，所以并不是完全意义的分布式数据库系统。那么 Mycat 是什么？Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。

Mycat基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，我们能看到更远。业界优秀的开源项目和创新思路被广泛融入到MYCAT的基因中。

Mycat对cobar的代码进行了彻底的重构，使用NIO重构了网络模块，并且优化了Buffer内核，增强了聚合，Join等基本特性，同时兼容绝大多数数据库成为通用的数据库中间件。

对于软件工程师来说，可以这么理解Mycat :

Mycat就是一个近似等于MySQL的数据库服务器，它实现了MySQL协议。你可以用连接MySQL的方式去连接Mycat(除了端口不同，默认的Mycat端口是8066而非MySQL的3306，因此需要在连接字符串上增加端口信息)，大多数情况下，可以用你熟悉的对象映射框架使用Mycat，但建议对于分片表，尽量使用基础的SQL语句，因为这样能达到最佳性能，特别是几千万甚至几百亿条记录的情况下

对于系统架构师来说，可以这么理解Mycat :

Mycat是一个强大的数据库中间件，不仅仅可以用作读写分离、以及分表分库、容灾备份，而且可以用于多租户应用开发、云平台基础设施、让你的架构具备很强的适应性和灵活性，借助于即将发布的Mycat智能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同存储引擎上，而整个应用的代码一行也不用改变。

Mycat发展到目前版本，已经不在是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库，也支持MongoDB这种新型NOSQL方式的存储，未来还会支持更多类型的存储。

2.2 Mycat架构

2.3 Mycat原理

Mycat的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为一个传说了。

Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，然后对SQL语句做了一些特定的分析，如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

上述图片里，Orders表被分为三个分片datanode(简称dn)，这三个分片是分布在两台MySQL Server上(DataHost)，即datanode=database@datahost方式，因此你可以用一台到N台服务器来分片，分片规则为(sharding rule)典型的字符串枚举分片规则，一个规则的定义是分片字段(sharding column)+分片函数(rule function)，这里的分片字段为rov而分片函数为字符串枚举方式。 当Mycat收到一个SQL时，会先解析这个SQL，查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字段的值，并匹配分片函数，得到该QL对应的分片列表，然后将SQL发往这些分片去执行，最后收集和处理所有分片返回的结果数据，并输出到客户端。以select * from Orders where prov=?语句为例，查到prov=wuhan，按照分片函数，wuhan返回 dn1，于是SQL就发给了MySQL1，去取DB1上的查询结果，并返回给用户。 如果上述SQL改为select * from Orders where prov in (‘wuhan’,‘beijing’)，那么，SQL就会发给ySQL1与MySQL2去执行，然后结果集合并后输出给用户。

2.4 Why Mycat ?

为什么选用Mycat,或者说Mycat为开发者解决了哪些问题呢？

Mycat发展至今，适用的场景已经很丰富，而且不断有新用户给出新的创新性方案，以下是几个典型的应用场景 :

• 单纯的读写分离，此时配置最为简单，支持读写分离，主从切换

• 分表分库，对于超过1000万的表进行分片，最大支持1 000亿的单表分片

• 多租户应用，每个应用一个库，但应用程序只连接Mycat,从而不改造程序本身，实现多租户化

• 报表系统，借助于Mycat的分表能力，处理大规模报表的统计

• 代替Hbase,分析大数据

• 作为海量数据实时查询的一种简单有效方案，比如 100亿条频繁查询的记录需要在3秒内查询出来结果， 除了基于主键的查询，还可能存在范围查询或其他属性查询，此时Mycat可能是最简单有效的选择 —单纯的读写分离，此时配置最为简单，支持读写分离，主从切换分表分库，对于超过000万的表进行分片，最大支持1000亿的单表分片 —多租户应用，每个应用一个库，但应用程序只连接Mycat，从而不改造程序本身，实现多租户化 —报表系统，借助于Mycat的分表能力，处理大规模报表的统计替代Hbase，分析大数据，作为海量数据实时查询的一种简单有效方案，比如100亿条频繁查询的记录需要在3秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时mycat可能是最简单有效的选择。

  ​