mycat笔记

MyCAT就是：一个彻底开源的，面向企业应用开发的“大数据库集群”，支持事务、ACID、可以替代Mysql的加强版数据库，一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群的一个新颖的数据库中间件产品，简单地说，保存数据到数据库之前进行一些分散操作，减少对数据库的压力。

mycat可以解决：性能问题，数据库连接过多，E-R分片难处理，可用性问题，成本和伸缩性问题；而且mycat支持多种数据库，如mysql，oracle，SqlServer，mangoDb等等

MyCAT支持水平分片与垂直分片

水平分片：一个表格的数据分割到多个节点上，按照行分隔。

垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3.

分片：

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。

数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。

   （1）一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切分可以称之为数据的垂直（纵向）切分。

（2）另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

 

逻辑库(schema) ：

前面一节讲了数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

逻辑表（table）：

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

分片表：是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

非分片表：一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

分片节点(dataNode)

数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。

节点主机(dataHost)

数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。

分片规则(rule)

前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

 

修改schema.xml如下：

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://org.opencloudb/">          <schema name="mycatdb" checkSQLschema="false" sqlMaxLimit="100">                   <table name="tb_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />          </schema>          <dataNode name="dn1" dataHost="localhost1" database="db1" />          <dataNode name="dn2" dataHost="localhost1" database="db2" />          <dataNode name="dn3" dataHost="localhost1" database="db3" />          <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"                   writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">                   <heartbeat>select user()</heartbeat>                   <writeHost host="hostM1" url="192.168.25.142:3306" user="root"                           password="123456">                   </writeHost>          </dataHost>   </mycat:schema>

 

server配置：

<user name="test">

                  <property name="password">test</property>

                  <property name="schemas">mycatdb</property>

         </user>

         <user name="root">

                  <property name="password">123456</property>

                  <property name="schemas">mycatdb</property>

         </user>。

分片测试案例：

进入mycat ，执行下列语句创建一个表:

CREATE TABLE tb_test (   id BIGINT(20) NOT NULL,   title VARCHAR(100) NOT NULL ,   PRIMARY KEY (id) ) ENGINE=INNODB DEFAULT CHARSET=utf8

 

 

我们再查看MySQL的3个库，发现表都自动创建好啦。好神奇。

接下来是插入表数据，注意，在写INSERT语句时一定要写把字段列表写出来，否则会出现下列错误提示：

错误代码： 1064

partition table, insert must provide ColumnList

我们试着插入一些数据：

INSERT INTO TB_TEST(ID,TITLE) VALUES(1,'goods1'); INSERT INTO TB_TEST(ID,TITLE) VALUES(2,'goods2'); INSERT INTO TB_TEST(ID,TITLE) VALUES(3,'goods3');

我们会发现这些数据被写入到第一个节点中了，那什么时候数据会写到第二个节点中呢？

我们插入下面的数据就可以插入第二个节点了

INSERT INTO TB_TEST(ID,TITLE) VALUES(5000001,'goods5000001');

因为我们采用的分片规则是每节点存储500万条数据，所以当ID大于5000000则会存储到第二个节点上。

目前只设置了两个节点，如果数据大于1000万条，会怎么样呢？执行下列语句测试一下

INSERT INTO TB_TEST(ID,TITLE) VALUES(10000001,'goods10000001');

 MyCat分片规则

rule.xml用于定义分片规则  ，我们这里讲解两种最常见的分片规则

（1）按主键范围分片rang-long

在配置文件中我们找到

<tableRule name="auto-sharding-long"> <rule> <columns>id</columns> <algorithm>rang-long</algorithm> </rule> </tableRule>

tableRule 是定义具体某个表或某一类表的分片规则名称   columns用于定义分片的列  algorithm代表算法名称    我们接着找rang-long的定义

<function name="rang-long"          class="org.opencloudb.route.function.AutoPartitionByLong">          <property name="mapFile">autopartition-long.txt</property&g