MyCat：第八章：MyCAT In Action中文版

最新推荐文章于 2024-09-14 21:48:00 发布

peixiancccc

最新推荐文章于 2024-09-14 21:48:00 发布

阅读量26

点赞数 21

分类专栏：程序员文章标签：面试职场和发展

本文链接：https://blog.csdn.net/peixiancccc/article/details/138413300

版权

程序员专栏收录该内容

302 篇文章 0 订阅

订阅专栏

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！

MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。以常用的基于整数映射的分片函数org.MyCAT.route.function.PartitionByFileMap为例，此函数通过一个配置文件来确定映射关系，以下面的sharding-by-intfile这个分片规则为例：

sharding_id

hash-int

rang-long

partition-hash-int.txt

autopartition-long.txt

partition-hash-int.txt的文件如下：

10000=0

10010=1

表明当字段sharding_id取值为10000的时候，返回分片节点ID为0，以此类推。

Schema.xml中定义customer表的分片规则为此规则：

于是customer按照字段sharding_id进行水平分片，分片存储在两个数据节点dn1,dn2上。

如何知道某个SQL在哪个分片上执行？用explain sql语句：

explain select * from customer where sharding_id=10000

根据业务场景和数据特点，可以选用以下的分片规则：

auto-sharding-long 主键自动增长的数字，按照范围进行自动分片，比如0-200万的数据在分片节点0,200-400万的数据在分片节点2，依次类推，根据数据库服务器的性能，可以每个分片存储100-500条记录之间，此种方式，每个分片表一个独立的自增长ID机制，确保记录的连续性。conf/ autopartition-long.txt中定义了分段范围与分片ID的关系。
sharding-by-intfile，表中有字段sharding_id，其类型为整数，对应具体的业务含义，比如10000对应电信，10010对应联通，此外，按照省份编码进行定义，也是可行的方式，为了效率，编码被映射为数字而不是字符串，conf/ partition-hash-int.txt, 定义了某个整数值到某个分片id的映射关系。
****mod-long，****对某些表，我们基本上很少会涉及到范围查询的，只根据某个字段（最常见是主键）进行查找定位，则可以用求余的方式，随机分配到其中一个节点上。

所有的分片规则都在rule.xml中定义，不同的表根据需求，定义不同的分片规则。

对于某些不分片的表格，或者分片规则一样的表格，table的定义可以用简化的方式来写,如：

。对于此种方式，name中定义的这些表格具有相同的属性，并且都不能有childTable 元素。

基于E-R关系分片策略

传统的数据库分片方式都是基于单个表格，对于表关联这种操作，则很难处理，考虑下面的分片模型,customer与 orders分片在不同节点上，orders的 parent_id字段存放父表customer的主键

为了能够执行customer与orders的联合查询，意味着分片表的数据必须要跨节点进行网络传输，以上图为例：

DN1节点上的orders表JOIN时候需要DN1和DN2的节点
DN2节点上的orders表JOIN时候需要DN1和DN3的节点
DN3节点上的orders表JOIN时候需要DN1、DN2、DN3的节点

目前这种方式的JOIN，业界没有很好的解决办法，而且实现起来都很复杂，性能也达不到企业应用开发的要求。

MyCAT借鉴了NewSQL领域的新秀Foundation DB的设计思路，Foundation DB创新性的提出了Table Group的概念，其将子表的存储位置依赖于主表，并且物理上紧邻存放，因此彻底解决了JION的效率和性能问题，根据这一思路，提出了基于E-R关系的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上。

以上述例子为例，schema.xml中定义如下的分片配置：

customer采用sharding-by-intfile这个分片策略，分片在dn1,dn2上，orders依赖父表进行分片，两个表的关联关系为orders.customer_id=customer.id。

这样一来，分片Dn1上的的customer与Dn1上的orders就可以进行局部的JOIN联合，Dn2上也如此，再合并两个节点的数据即可完成整体的JOIN，试想一下，每个分片上orders表有100万条，则10个分片就有1个亿，基于E-R映射的数据分片模式，基本上解决了80%以上的企业应用所面临的问题。

多对多的表格如何处理？多对多的表格通常情况下，有以下几种：

主表+关系表+字典表
主表A+关系表+主表B

对于第一种，字典表可以被定义为“全局表”，字典表的记录规模可以在几千到几十万之间，基本是变动比较少的表，由MyCAT自动实时同步到所有分片，这样就可以三个表都做JOIN操作了。

对于第二种，需要从业务角度来看，关系表更偏向哪个表，即“A的关系”还是“B的关系”，来决定关系表跟从那个方向存储。目前还暂时无法很好支持这种模式下的的3个表之间的关联。未来版本中将考虑将中间表进行双向复制，以实现从A-关系表以及B-关系表的双向关联查询。

关于全局表的实现方式，全局表在数据插入或更新的时候，会自动在全局表定义的所有数据节点上执行相同的操作，以保证所有数据节点都一致，由于这个特性，全局表可以跟任何分片或不分片的表格进行JOIN操作。对数据更新不频繁的，规模不是很大的（100万之内）的表都可以定义为MyCAT的全局表，以实现用存储换性能的目标。

主键分片VS非主键分片

主键分片还是非主键分片，这个问题并不是很难，当你没人任何字段可以作为分片字段的时候，主键分片就是唯一选择，其优点是按照主键的查询最快，当采用自动增长的序列号作为主键时，还能比较均匀的将数据分片在不同的节点上。

若有某个合适的业务字段比较合适作为分片字段，则建议采用此业务字段分片，选择分片字段的条件如下：

尽可能的比较均匀分布数据到各个节点上
该业务字段是最频繁的或者最重要的查询条件

常见的除了主键之外的其他可能分片字段有“订单创建时间”、店铺类别或所在省等。当你找到某个合适的业务字段作为分片字段以后，不必纠结于“牺牲了按主键查询记录的性能”，因为在这种情况下，MyCAT提供了“主键到分片”的内存缓存机制，热点数据按照主键查询，丝毫不损失性能。做法如下：

对于非主键分片的TABLE，填写属性primaryKey，此时MyCAT会将你根据主键查询的SQL语句的第一次执行结果进行分析，确定该Table 的某个主键在什么分片上，并进行主键到分片ID的缓存，以下面SQL为例，由于id 不是orders的分片字段，因此这个SQL第一次会发送给所有分片去执行：

select * from orders where id=1;

在缓存TableID2DataNodeCache.TESTDB_ORDERS中放入一条信息，key为主键的值，value为分片ID，当我们再次执行上述语句，MyCAT就直接将SQL发往dn2了：

对于多个主键的查询，一样可以自动优化：如 Select * from orders where id in (1,2,3) ，则会分别存储1、2、3这三个主键到分片的缓存关系。

设想下，每个表有5000万数据，10%的热点数据经常按照主键查询，5000万*10%=500万，缓存上述信息大概需要1.5G内存，通过分析缓存使用信息，就可以最精确的调优这笔缓存的内存。通过连接MyCAT的9066管理端口，执行show @@cache，可以显示当前缓存的使用情况：

更多内容，参照MyCAT性能调优手册。

SQL 99规范

MYCAT支持SQL 99规范，包括DDL语句的支持，部分MYSQL特定的语法并不支持，但MYCAT 1.2通过了一个特殊方式来解决特殊SQL的问题，即通过MYSQL注解方式，以下面的SQL语句为例：

/*!mycat:sql=select id from travelrecord where id=2*/ select * from travelrecord where id=2;

其中/*! Xxxx */为MYSQL 特殊注解语法的格式，注解内以mycat开头，说明是mycat处理的注解，这里放置一个符合SQL 99的SQL语句，用来告诉MYCAT，用此语句进行语法解析和路由分析，然后将注释后面的真正的SQL select * from travelrecord where id=2提交到匹配的路由上执行，并返回结果。

比如MyCAT并不支持mysql的select into语法，若select into语法涉及到的表是不分片的，则可以如下来写注释，让此SQL能执行通过：

/*!mycat:sql=insert into B*/ select * from A insert into B

备注：后续版本注解格式修改为 /*!mycat: sql = select id from travelrecord where id=2*/ select * from travelrecord where id=2;

Mycat 1.3开始，支持Druid的解析器，可以配置选择Druid或者Foundation DB解析器，建议选择Druid解析器，未来可能取消Foundation DB解析器的支持，Druid解析器更好的支持Mysql的特殊语法，性能有明显优势。

在server.xml中配置如下参数，可以切换到Druid解析器：

<mycat:server xmlns:mycat=“http://org.opencloudb/”>

MyCAT全局表

一个真实的业务系统中，往往存在大量的类似字典表的表格，它们与业务表之间可能有关系，这种关系，可以理解为“标签”，而不应理解为通常的“主从关系”，这些表基本上很少变动，可以根据主键ID进行缓存

在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，考虑到字典表具有以下几个特性：

变动不频繁
数据量总体变化不大
数据规模不大，很少有超过数十万条记录。

鉴于此，MyCAT定义了一种特殊的表，称之为“全局表”，全局表具有以下特性：

全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性
全局表的查询操作，只从一个节点获取
全局表可以跟任何一个表进行JOIN操作

将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据JOIN的难题。通过全局表+基于E-R关系的分片策略，MyCAT可以满足80%以上的企业应用开发。

全局表配置比较简单，不用写Rule规则，如下配置即可：

需要注意的是，全局表每个分片节点上都要有运行创建表的DDL语句。

高可用性以及读写分离

MyCAT的读写分离机制如下：

事务内的SQL，全部走写节点，除非某个select语句以注释/*balance*/开头
自动提交的select语句会走读节点，并在所有可用读节点中间随机负载均衡
当某个主节点宕机，则其全部读节点都不再被使用，因为此时，同步失败，数据已经不是最新的，MYCAT会采用另外一个主节点所对应的全部读节点来实现select负载均衡。
当所有主节点都失败，则为了系统高可用性，自动提交的所有select语句仍将提交到全部存活的读节点上执行，此时系统的很多页面还是能出来数据，只是用户修改或提交会失败。

MyCAT的读写分离的配置如下：

dataHost的balance属性设置为：

0，不开启读写分离机制
1，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。
2，所有的readHost与writeHost都参与select语句的负载均衡，也就是说，当系统的写操作压力不大的情况下，所有主机都可以承担负载均衡。

一个dataHost元素，表明进行了数据同步的一组数据库，DBA需要保证这一组数据库服务器是进行了数据同步复制的。writeHost相当于Master DB Server，而旗下的readHost则是与从数据库同步的Slave DB Server。当dataHost配置了多个writeHost的时候，任何一个writeHost宕机，Mycat 都会自动检测出来，并尝试切换到下一个可用的writeHost。

MyCAT支持高可用性的企业级特性，根据您的应用特性，可以配置如下几种策略：

后端数据库配置为一主多从，并开启读写分离机制。
后端数据库配置为双主双从（多从），并开启读写分离机制
后端数据库配置为多主多从，并开启读写分离机制

后面两种配置，具有更高的系统可用性，当其中一个写节点（主节点）失败后，Mycat会侦测出来（心跳机制）并自动切换到下一个写节点，MyCAT在任何时候，只会往一个写节点写数据。

下面是典型的双主双从的Mysql集群配置：

Log4j.xml中配置日志输出级别为debug时，当选择节点的时候，会输出如下日志：

16:37:21.660 DEBUG [Processor0-E3] (PhysicalDBPool.java:333) -select read source hostM1 for dataHost:localhost1

16:37:21.662 DEBUG [Processor0-E3] (PhysicalDBPool.java:333) -select read source hostM1 for dataHost:localhost1

根据这个信息，可以确定某个SQL发往了哪个读（写）节点，据此可以分析判断是否发生了读写分离。

全局序列号

全局序列号是MyCAT提供的一个新功能，为了实现分库分表情况下，表的主键是全局唯一，而默认的MySQL的自增长主键无法满足这个要求。全局序列号的语法符合标准SQL规范，其格式为：

next value for MYCATSEQ_GLOBAL

其中MYCATSEQ_GLOBAL是序列号的名字，MyCAT自动创建新的序列号，免去了开发的复杂度，另外，MyCAT也提供了一个全局的序列号，名称为：MYCATSEQ_GLOBAL。

注意****，MYCATSEQ_必须大写才能正确识别。****

MyCAT温馨提示：实践中，建议每个表用自己的序列号，序列号的命名建议为MYCATSEQ _tableName_ID_SEQ。

SQL中使用说明

自定义序列号的标识为：MYCATSEQ_XXX ,其中XXX为具体定义的sequence的名称，应用举例如下：

使用默认的全局sequence :

insert into tb1(id,name) values(next value for MYCATSEQ_GLOBAL,‘micmiu.com’);

使用自定义的 sequence :

insert into tb2(id,name) values(next value for MYCATSEQ_MY1,‘micmiu.com’);

获取最新的值

Select next value for MYCATSEQ_xxx

MyCAT目前已经提供了一个本地配置版的实现，下面是配置说明：

配置说明

配置文件：sequence_conf.properties

格式说明：

XXX.HISIDS= 1-100,501-800,3001-5000 //使用过得历史分段

XXX.MINID=10001 //当前可用分段的最小值

XXX.MAXID=20000 //当前可用分段的最大值

XXX.CURID=10000 //当前可用分段的当前值

全局sequence配置如下：

GLOBAL.HISIDS=

GLOBAL.MINID=1

GLOBAL.MAXID=50000

GLOBAL.CURID=10000

自定义sequence配置如下：

MY1.HISIDS=

MY1.MINID=101

MY1.MAXID=200

MY1.CURID=152

Mysql数据库表格保存全局序列号的配置如下：

Serfver.xml中启用，1

• 在某个分区(dataNode)数据库上创建序列号相关的表格和函数，SQL脚本在doc目录下的sequnce-sql.txt中，需要在数据库上而非Mycat上执行。

• Mycat_home/conf/quence_db_conf.properties 中记录了sequnce所存放的db对应的配置信息。

#sequence stored in datanode

GLOBAL=dn1

COMPANY=dn1

CUSTOMER=dn1

• 在sequnce表中，插入相应的sequnce记录，并确定其初始值，以及增长步长，步长建议一个合适的范围，比如50-500，需要在数据库上而非Mycat上执行。

INSERT INTO MYCAT_SEQUENCE VALUES (‘GLOBAL’, 0, 100);

• 修改sequnce的当前值为某个新值，需要在数据库上而非Mycat上执行。

SELECT mycat_seq_curval(‘GLOBAL’);

提示：步长选择多大，取决与你数据插入的TPS，假如是每秒1000个，则步长为1000×60=6万，也不是很大，即60秒会重新从数据库读取下一批次的序列号值。

自增长主键****

从MyCAT 1.3开始，支持自增长主键，依赖于全局序列号机制，建议采用数据库方式的全局序列号，并正确设置步长，以免影响实际性能。

首先要开启数据库方式的全局序列号，对于需要定义自增长主键的表，建立对应的全局序列号，与table名称同名大写，如customer序列名为CUSTOMER，然后再 schema.xml 中对customer表的table元素增加属性autoIncrement值为true.

执行insert into customer (name,company_id,sharding_id) values (‘test’,2,10000);查看效果，暂不支持主键为null如：insert into customer (id,name,company_id,sharding_id) values (null,‘test’,2,10000);

JDBC方式支持其他数据库

从MyCAT 1.2开始，实现了JDBC通用方式连接后端其他数据库，如Oracle、SQL Server、DB2等，在客户端，仍然可以把MyCAT视作是一个MySQL服务器。

配置方式如下，首先将符合JDBC 4标准的驱动JAR包放到MYCAT\lib下，注意检查驱动JAR包中包括如下目录结构的文件： META-INF\services\java.sql.Driver

schema.xml中如下定义JDBC的DateHost：

<dataHost name=“jdbchost” maxCon=“1000” minCon=“10” balance=“0”

dbType=“mysql” dbDriver=“jdbc”>

select user()

<writeHost host=“hostM1” url=“jdbc:mysql://localhost:3306”

user=“root” password=“123456”>

NoSQL支持

1.3开始支持NoSQL数据库通过SQL方式访问，目前试验性的支持MongoDB，未来会增加更多NoSQL数据库，具体配置参照相关文档。

MyCAT配置

Server.xml里面定义系统参数、用户权限，Mycat 目前支持只读与读写两种权限，readOlny表示只读权限。

<property name=“schemas”>TESTDB</property>

</user>

SQL拦截

SQL拦截是一个比较有用的高级技巧，用户可以写一个java类，将传入MyCAT的SQL进行改写然后交给Mycat去执行，此技巧可以完成如下一些特殊功能：

捕获和记录某些特殊的SQL
处于性能优化的考虑，改写SQL，比如改变查询条件的顺序或增加分页限制
将某些Select SQL强制设置为Read 模式，走读写分离（很多事务框架很难剥离事务中的Select SQL
其他。。。。

用法是在Server.xml中配置系统参数，指定自己的SQL拦截器的Java实现类：

<property name=" sqlInterceptor__"__>org.opencloudb.interceptor.impl.DefaultSqlInterceptor</property>

默认的拦截器实现了Mysql转义字符的过滤转换，SQL拦截器的实现很简单：

/**

* escape mysql escape letter

@Override

public String interceptSQL(String sql, int sqlType) {

if (sqlType == ServerParse.UPDATE || sqlType == ServerParse.INSERT||sqlType == ServerParse.SELECT||sqlType == ServerParse.DELETE) {

return sql.replace(“\\'”, “‘’”);

} else {

return sql;

}

Catlet

Mycat 1.3开始支持Java类编程方式实现复杂SQL处理，类似数据库的存储过程，Catlet是一个实现了Catlet接口的无状态Java类，负责将编码实现某个SQL的处理过程，并返回响应报文给客户端，目前主要用于人工智能（非AI）编码实现跨分片SQL的处理逻辑，Demo中附带143行完成两个表JION的查询示例，采用流式处理机制，未来将会提供更多高质量API来简化跨分片复杂SQL的编程问题，下个版本有望实现不带子查询的两表关联查询自动处理，也采用此框架。

package org.opencloudb.sqlengine;

/**

* mycat catlet ,used to execute sql and return result to client,some like

* database’s procedure.

* must implemented as a stateless class and can process many SQL concurrently

* @author wuzhih

public interface Catlet {

* execute sql in EngineCtx and return result to client

void processSQL(String sql, EngineCtx ctx);

Catlet 编写完成并编译通过以后，必须放在Mycat_home/catlets目录下，系统会动态加载相关class（****需要按照Java Class的目录结构存放，比如com\hp\catlet\XXXCatlet.class，****目前还不支持Jar文件）并每隔1分组扫描一次文件是否更新，若更新则自动重新加载，因此无需重启服务，下面的截图对应的是demo.catletes.MyHellowJion这个Catlet的目录结构和所有相关类的位置。

在Mysql命令行连接Mycat Server后，执行带Catlet注解的SQL，则启动具体的Catlet完成SQL的解析，如下面的例子，表明select a.*, b.title from travelrecord a ,hotnews b where a.id=b.id 这个SQL交给demo.catlets.MyHellowJoin来处理。

/*!mycat:catlet=demo.catlets.MyHellowJoin */select a.*, b.title from travelrecord a ,hotnews b where a.id=b.id

想要运行上述Demo，可以将demo.catletes.MyHellowJion编译好，并将Class放入指定的目录，执行上述SQL。此外Demo源码存在于demo.catlets目录下，这部分是属于Mycat开发，具备Java开发能力并有这方面需求的同学，可以参考另一片文章《MyCAT人工智能解决跨分片SQL》了解详情。

MyCAT高可用性方案

HAProxy或者MyCAT Cluster做负载均衡，后端一组MyCAT Server，MyCAT Server之后的MySQL 数据库可以有以下两种选择：

MYSQL主从复制，当主节点失败，自动切换到从节点写数据。
galera for mysql集群，percona-cluster或者mariadb cluster

MyCAT与percona-cluster配合，schema.xml配置如下：

<dataHost name=“localhost1” maxCon=“1000” minCon=“10” balance=“0”

writeType=“1” dbType=“mysql” dbDriver=“native”>

<heartbeat>select user()</heartbeat>

</dataHost>

有几个percona-cluster节点，writeHost就写几个，同时writeType********必须设为1，这种模式下，没有readHost.

当任何一个writeHost失败，会自动排除，恢复以后，自动加入写节点。

快速上手

是用Java开发，需要有JAVA运行环境，若本机没有，则需要下载安装，需要64位的JDK7以及JDK8版本才能运行：

http://www.java.com/zh_CN/

获取MyCAT的最新开源版本，项目主页https://github.com/MyCATApache/

二进制包下载地址：

https://github.com/MyCATApache/Mycat-download

文档地址

https://github.com/MyCATApache/Mycat-doc

windows下可以下载Mycat-server-xxxx.ZIP，linux下可以下载tar.gz解开在某个目录下，注意，目录不能有空格，在Linux(Unix)下，建议放在/usr/local/MyCAT目录下，如下面类似的：

目录解释如下：

Bin 程序目录，存放了window版本和linux版本，除了提供封装成服务的版本之外，也提供了nowrap的shell脚本命令，方便大家选择和修改，进入到bin目录：

Windows 下运行: mycat.bat console 在控制台启动程序，也可以装载成服务，若此程序运行有问题，也可以运行startup_nowrap.bat，确保java命令可以在命令执行。
Linux下运行：mycat console,首先要chmod +x *

Warp方式的命令，可以安装成服务并启动或停止。

mycat install (可选)
mycat start

注意，wrap方式的程序，其JVM配置参数在conf/wrap.conf中，可以修改为合适的参数，参数调整参照http://wrapper.tanukisoftware.com/doc/english/properties.html****。****用下面是一段实例：

# Java Additional Parameters

wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G

wrapper.java.additional.6=-Dcom.sun.management.jmxremote

# Initial Java Heap Size (in MB)

wrapper.java.initmemory=2048

# Maximum Java Heap Size (in MB)

wrapper.java.maxmemory=2048

若启动报内存不够，可以试着将上述内存都改小，改为1G或500M。

Conf目录下存放配置文件，server.xml是Mycat服务器参数调整和用户授权的配置文件，schema.xml是逻辑库定义和表以及分片定义的配置文件，rule.xml是分片规则的配置文件，分片规则的具体一些参数信息单独存放为文件，也在这个目录下，配置文件修改，需要重启Mycat或者通过9066端口reload。

日志存放在logs/mycat.log中，每天一个文件，日志的配置是在conf/log4j.xml中，根据自己的需要，可以调整输出级别为debug，debug级别下，会输出更多的信息，方便排查问题。

建议本地有一个Mysql Server，若没有，建议安装一个，下载地址：

http://dev.mysql.com/downloads/mysql/5.5.html#downloads

启动Mysql，确保能正常登录访问数据，msyql命令行工具mysql\bin\mysql.exe建议加入PATH路径中，为了方便使用。