MyCat技术分享

 

概述

Mycat是一个开源的分布式数据库中间件，是个实现了MySQL协议的的Server，也可以理解为是数据库代理。在架构体系中是位于数据库和应用层之间的一个组件，并且对于应用层是透明的，即数据库感受不到mycat的存在，认为是直接连接的mysql数据库。其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。

原理

Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

 

orders表被分为三个分片,这三个分片是分布在两台MySQL Server上。

应用场景

• 单纯的读写分离，此时配置最为简单，支持读写分离，主从切换
• 分表分库，对于超过1000万的表进行分片，最大支持1000亿的单表分片
• 替代Hbase，分析大数据

Mycat中的概念

• 逻辑库(schema)

          与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table （逻辑表）。

• 逻辑表

          分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

• • 分片表

                分片表，是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。
                例如在mycat配置中的t_node就属于分片表，数据按照规则被分到dn1,dn2两个分片节点(dataNode)上。

<table name="t_node" primaryKey="id" dataNode="dn1,dn2" rule="rule1" />

 

• • 非分片表

                 一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

<table name="t_node" primaryKey="id" dataNode="dn1" />

 

• • ER表

                关系型数据库是基于实体关系模型（Entity-Relationship Model)之上，通过其描述了真实世界中事物与关系，Mycat中的ER表即是来源于此。根据这一思路，提出了基于E-R关系的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上，即子表依赖于父表，通过表分组（Table Group）保证数据Join不会跨库操作。
                表分组（Table Group）是解决跨分片数据join的一种很好的思路，也是数据切分规划的重要一条规则。

<table name="customer" primaryKey="id" dataNode="dn1" > <childTable name="orders" primaryKey="id" joinKey="customer_id" parentKey="id" /> </table>

• • 全局表

                一个真实的业务系统中，往往存在大量的类似字典表的表，这些表基本上很少变动，对于这类的表，在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，所以Mycat中通过数据冗余来解决这类表的join，即所有的分片都有一份数据的拷贝，所有将字典表或者符合字典表特性的一些表定义为全局表。

                数据冗余是解决跨分片数据join的一种很好的思路，也是数据切分规划的另外一条重要规则。

<table name="company" primaryKey="id" type="global" dataNode="dn1,dn2,dn3" />

• 分片节点(dataNode)

         数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。

<dataNode name="dn1" dataHost="localhost1" database="db1" />

• 节点主机(dataHost)

          数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataN